탐지기의 구조: R-CNN 계열과 YOLO
탐지기 안을 열어 봅니다. 두 단계 방식(Faster R-CNN)이 특징 맵의 한 칸에서 후보 영역을 만들고, 추리고, 분류하는 길을 한 걸음씩 따라가 보세요. 한 단계 방식(YOLO)은 격자 칸을 눌러 칸마다 나오는 숫자를 펴 봅니다. 바운딩 박스(bounding box)가 맞았는지 재는 IoU 와 겹친 박스를 거르는 NMS 는 객체 탐지 쪽에 있습니다.
한 줄 답. 탐지기는 분류 신경망의 앞부분인 백본(backbone)이 만든 특징 맵 위에서 「여기에 물체가 있나」와 「박스를 어떻게 고치나」를 같이 맞힙니다. 후보를 먼저 고르고 다시 보는 두 단계 방식(R-CNN 계열)과, 격자 칸마다 한 번에 맞히는 한 단계 방식(YOLO)이 있습니다.
1. 탐지기는 무엇을 맞히나
탐지기의 앞쪽은 그림을 분류하는 신경망의 백본과 같습니다. 합성곱 층을 쌓은 백본(CNN 구조)이 그림을 특징 맵으로 바꿉니다. 특징 맵은 그림보다 칸이 적고, 칸 하나가 그림의 한 구역을 봅니다. 분류 신경망은 이 맵을 모아 이름 하나를 내지만, 탐지기는 자리마다 두 가지를 맞힙니다.
- 물체일 점수. 이 자리에 무엇이든 물체가 있나. 0 ~ 1.
- 박스 보정값. 미리 정한 박스를 어디로 옮기고 얼마나 늘리면 물체에 맞나.
Faster R-CNN 논문은 영역 제안 네트워크(RPN)를 「자리마다 물체의 경계와 물체일 점수를 같이 맞히는, 완전 합성곱 신경망」이라고 적었습니다(출처 ①). 두 가지를 어디서 출발해 어떻게 추리는지가 두 방식의 차이입니다.
2. 두 단계 방식: 후보를 고르고 다시 본다
Faster R-CNN 은 그림 전체의 합성곱 특징을 RPN 과 탐지 신경망이 같이 쓰게 하고, 둘을 신경망 하나로 합쳤습니다. 논문의 말로 RPN 은 합친 신경망에 「어디를 볼지」 알려 줍니다(출처 ①). 흐름은 이렇습니다.
아래 실험에서 이 길을 특징 맵의 칸 하나부터 따라갑니다.
「다음」을 누르면 한 걸음씩 나아갑니다. 회색 선은 특징 맵의 칸, 주황 칠은 지금 보는 칸, 보라 점선은 앵커, 파랑은 후보 영역, 초록(✓)은 NMS 로 남긴 후보, 회색 점선(✕)은 지운 후보, 검은 화살표는 박스의 가운데가 옮겨 간 길입니다. 그림 좌표는 특징 맵의 칸 단위이고, 칸은 (열, 행)으로 0 부터 셉니다. 그림, 앵커, 점수, 보정값, 후보는 모두 보여 주려고 지어낸 작은 값입니다. 겹친 후보를 지우는 규칙은 객체 탐지의 NMS, 칸을 모으는 생각은 풀링을 보세요.
3. 식이 만들어지는 과정: 바운딩 박스 회귀
실험의 5단계 셈입니다. 앵커 A1 은 가운데 (1.5, 2.5), 폭 2, 높이 2 이고, RPN 이 낸 보정값은 (dx, dy, dw, dh) = (0.2, −0.2, 1.1, 1.1) 입니다.
- 칸 수만큼 옮기기:
cx′ = cx + dx. 가장 쉬운 꼴입니다. 그런데 같은 dx = 0.2 가 폭 1 인 앵커에게는 폭의 5 분의 1, 폭 4 인 앵커에게는 20 분의 1 입니다. 같은 숫자가 앵커마다 다른 뜻이 됩니다. - 앵커 크기에 곱하기:
cx′ = cx + dx × w. 이제 dx = 0.2 는 어느 앵커에게나 「폭의 0.2 배만큼 오른쪽」입니다. A1 은1.5 + 0.2 × 2 = 1.9, 위아래는2.5 + (−0.2) × 2 = 2.1. - 폭과 높이는 배수로:
w′ = w × dw. 더하기(w + dw)로 두면 음수 보정값에 폭이 0 이하가 될 수 있습니다. 0 보다 큰 배수를 곱하면 폭이 늘 0 보다 큽니다. A1 은2 × 1.1 = 2.2.
cx′ = cx + dx × w
cy′ = cy + dy × h
w′ = w × dw
h′ = h × dh
cx, cy: 앵커의 가운데(그림 좌표)w, h: 앵커의 폭과 높이dx, dy: 가운데를 폭·높이의 몇 배만큼 옮기나. RPN 이 낸 보정값dw, dh: 폭·높이를 몇 배로 늘리나. 0 보다 크고, 1 보다 작으면 줄인다cx′, cy′, w′, h′: 고친 박스, 곧 후보 영역
모서리로 바꾸면 x1 = cx′ − w′ ÷ 2 = 1.9 − 1.1 = 0.8 처럼 해서 후보 P1 = (0.8, 1.0) ~ (3.0, 3.2) 입니다.
이 식에 대해. 이 꼴은 이 쪽이 보여 주려고 정한 간단한 식입니다. 실제 탐지기의 식도 가운데를 옮기고 폭·높이를 늘리는 모양은 같지만, 세부는 다를 수 있습니다. 라이브러리를 쓸 때는 그 문서의 식을 확인하세요. 보정값의 숫자도 지어낸 값입니다.
4. 한 단계 방식: 격자 칸마다 한 번에
YOLO 는 탐지를 「공간에 나뉘어 놓인 박스들을 맞히는 회귀 문제」로 봅니다. 신경망 하나가 그림 전체에서 박스와 클래스 확률을 한 번의 계산으로 바로 냅니다(출처 ②). 후보를 고르는 단계가 따로 없습니다. 그림에 S × S 격자를 얹고, 물체의 가운데가 든 칸이 그 물체를 맡습니다. 칸마다 박스 B 개와 클래스 C 개의 확률을 내므로 출력의 크기는 이렇습니다.
출력의 크기 = S × S × (B × 5 + C)
S: 격자 한 변의 칸 수. 이 실험은 4B: 칸마다 내는 박스 수. 이 실험은 25: 박스 하나의 숫자. 가운데 x, y, 폭 w, 높이 h, 신뢰도(confidence)C: 클래스 수. 이 실험은 2(공, 병)
이 실험은 4 × 4 × (2 × 5 + 2) = 4 × 4 × 12 = 192 개의 숫자를 냅니다. x, y 는 칸 안의 자리(칸의 왼쪽 위가 0, 오른쪽 아래가 1), w, h 는 그림 전체에 대한 비율로 이 쪽이 정했습니다. S, B, C 의 4, 2, 2 도 보여 주려고 고른 작은 값입니다.
격자의 칸을 누르면(또는 그림을 고른 뒤 화살표 키) 그 칸이 내는 숫자 12 개가 위 줄에 펴지고, 그 칸의 박스 둘이 그림에 그려집니다. 위 줄의 파랑 묶음 둘은 박스 1·2 의 (x, y, w, h, 신뢰도), 주황 묶음은 클래스 확률(공, 병)입니다. 그림의 파랑 실선은 박스 1, 점선은 박스 2 이고, 선이 굵을수록 신뢰도가 높습니다. 파란 점은 박스의 가운데, 검은 점은 물체의 가운데입니다. 초록 칠은 물체의 가운데가 든 칸, 회색 칠은 맡은 물체가 없는 칸입니다. 숫자는 모두 지어낸 값이고, 맡은 물체가 없는 칸의 숫자는 고정 시드(seed)의 난수로 만들었습니다.
해 볼 것. ① 처음 칸 (1, 1)에는 공의 가운데 (1.9, 2.1)이 있습니다. 박스 1 의 신뢰도가 0.9, 클래스 확률은 공 0.92 입니다. ② 칸 (2, 2)는 병의 가운데 (4.2, 3.6)을 품어 병을 맡습니다. 박스 1 의 신뢰도 0.85, 병 0.94 입니다. ③ 공이 걸쳐 있지만 가운데는 없는 칸 (0, 1)을 누르면 박스의 신뢰도가 0.15 이하입니다. 공을 맡는 칸은 하나뿐입니다. ④ 어느 칸을 눌러도 파란 점(박스의 가운데)은 그 칸 안에 있습니다. x, y 가 칸 안의 자리이기 때문입니다.
5. 두 방식 비교하기
| 두 단계(Faster R-CNN) | 한 단계(YOLO) | |
|---|---|---|
| 그림을 몇 번 보나 | 백본은 한 번 돈다. RPN 과 탐지 신경망이 그 특징을 같이 쓴다(①). 그다음 후보마다 헤드가 한 번 더 본다 | 신경망 하나가 한 번의 계산으로 박스와 클래스 확률을 낸다(②) |
| 무엇이 후보를 내나 | RPN 이 자리마다 물체일 점수와 박스를 낸다(①) | 따로 내지 않는다. 격자의 칸이 그대로 자리가 된다 |
| 박스를 어떻게 맞히나 | 앵커를 보정해 후보를 만들고, 박스 헤드가 한 번 더 다듬는다 | 칸마다 박스를 바로 맞힌다. 탐지를 회귀 문제로 본다(②) |
| 논문이 적은 장단점 | YOLO 논문은 당시의 가장 좋은 탐지기들과 비교해, YOLO 가 박스 자리 오차는 더 많지만 없는 물체를 있다고 하는 일은 훨씬 적다고 적었습니다(②). | |
어떤 일에 어느 쪽을 쓰는지는 객체 탐지의 「언제 무엇을 쓰나」 표에 있습니다. 두 방식 모두 끝에 박스가 많이 남아 NMS 로 거릅니다.
6. 마스크 헤드를 하나 더
Mask R-CNN 은 Faster R-CNN 에 물체 마스크를 맞히는 갈래를 하나 더했습니다. 이미 있는 박스 인식 갈래와 나란히 붙였습니다(출처 ③). 후보마다 클래스와 박스에 더해 그 물체의 모양(마스크)도 내므로, 물체마다 따로 칠하는 인스턴스 분할(instance segmentation)이 됩니다.
픽셀마다 이름을 다는 일과 그 성적을 재는 법은 영상 분할 쪽에 있습니다.
어디에 쓰나
두 방식 모두 탐지기라서 쓰는 곳은 객체 탐지의 「어디에 쓰나」와 같습니다. 자율 주행과 로봇, 공장 검사, 드론과 위성 사진, 의료 영상, 라벨 검수입니다. 5절 표처럼 두 단계 방식은 후보마다 헤드가 한 번 더 보고, 한 단계 방식은 신경망 하나가 한 번의 계산으로 박스와 클래스 확률을 냅니다. YOLO 논문은 YOLO 가 박스 자리 오차는 더 많지만 없는 물체를 있다고 하는 일은 훨씬 적다고 적었습니다(②). 어떤 일에 어느 쪽을 쓰는지는 객체 탐지의 「언제 무엇을 쓰나」 표에 있습니다.
자주 묻는 것
두 단계 방식은 그림을 백본에 두 번 넣나요?
아니요. Faster R-CNN 은 영역 제안 네트워크(RPN)가 탐지 신경망과 그림 전체의 합성곱 특징을 같이 쓰게 해서 둘을 신경망 하나로 합쳤습니다. 백본은 한 번 돌고, 두 번째로 보는 것은 특징 맵에서 잘라 온 후보의 자리입니다.
물체일 점수와 클래스 확률은 어떻게 다른가요?
물체일 점수는 「여기에 무엇이든 물체가 있나」만 묻고, 클래스 확률은 「있다면 무엇인가」를 묻습니다. 두 단계 방식에서는 RPN 이 앞의 것을, 분류 헤드가 뒤의 것을 맡습니다. 이 쪽의 한 단계 실험은 박스마다 신뢰도 하나, 칸마다 클래스 확률 C 개를 냅니다.
한 단계 방식도 NMS 가 필요한가요?
네. 칸마다 박스를 B 개씩 내므로 박스가 S × S × B 개 나오고, 한 물체 둘레에 겹친 박스가 여럿 남을 수 있습니다. 두 방식 모두 박스를 많이 내고 NMS 로 거릅니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 특징을 뽑는 앞부분 | 백본(backbone) |
| 특징 맵 | feature map |
| 후보 영역을 내는 작은 신경망 | 영역 제안 네트워크, RPN(region proposal network) |
| 물체가 있을 만한 자리 | 후보 영역(region proposal) |
| 미리 정해 둔 박스 | 앵커(anchor), 앵커 박스 |
| 물체일 점수 | objectness score |
| 박스 보정 | 바운딩 박스 회귀(bounding box regression) |
| 같은 크기로 잘라 모으기 | RoI 풀링(RoI pooling). RoI 는 region of interest |
| 마지막에 답을 내는 부분 | 헤드(head) |
| 박스에 물체가 있다는 믿음 | 신뢰도(confidence) |
| 한 단계 방식, 두 단계 방식 | 단일 단계 탐지기(one-stage detector), 2단계 탐지기(two-stage detector) |
| 마스크, 물체마다 따로 칠하기 | 마스크(mask), 인스턴스 분할(instance segmentation) |
출처
- Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, arXiv:1506.01497, 2015. RPN 이 탐지 신경망과 그림 전체의 합성곱 특징을 같이 쓰기, 자리마다 물체의 경계와 물체일 점수를 같이 맞히기, 둘을 신경망 하나로 합치기, 「어디를 볼지」.
- Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, You Only Look Once: Unified, Real-Time Object Detection, arXiv:1506.02640, 2015. 탐지를 회귀 문제로 보기, 한 번의 계산으로 상자와 종류 확률, 위치 오차와 잘못 찾기.
- He, Gkioxari, Dollár, Girshick, Mask R-CNN, arXiv:1703.06870, 2017. 상자 인식 갈래 옆에 마스크 갈래를 나란히 더하기.