탐지기의 구조: R-CNN 계열과 YOLO

탐지기 안을 열어 봅니다. 두 단계 방식(Faster R-CNN)이 특징 맵의 한 칸에서 후보 영역을 만들고, 추리고, 분류하는 길을 한 걸음씩 따라가 보세요. 한 단계 방식(YOLO)은 격자 칸을 눌러 칸마다 나오는 숫자를 펴 봅니다. 바운딩 박스(bounding box)가 맞았는지 재는 IoU 와 겹친 박스를 거르는 NMS 는 객체 탐지 쪽에 있습니다.

한 줄 답. 탐지기는 분류 신경망의 앞부분인 백본(backbone)이 만든 특징 맵 위에서 「여기에 물체가 있나」와 「박스를 어떻게 고치나」를 같이 맞힙니다. 후보를 먼저 고르고 다시 보는 두 단계 방식(R-CNN 계열)과, 격자 칸마다 한 번에 맞히는 한 단계 방식(YOLO)이 있습니다.

1. 탐지기는 무엇을 맞히나

탐지기의 앞쪽은 그림을 분류하는 신경망의 백본과 같습니다. 합성곱 층을 쌓은 백본(CNN 구조)이 그림을 특징 맵으로 바꿉니다. 특징 맵은 그림보다 칸이 적고, 칸 하나가 그림의 한 구역을 봅니다. 분류 신경망은 이 맵을 모아 이름 하나를 내지만, 탐지기는 자리마다 두 가지를 맞힙니다.

Faster R-CNN 논문은 영역 제안 네트워크(RPN)를 「자리마다 물체의 경계와 물체일 점수를 같이 맞히는, 완전 합성곱 신경망」이라고 적었습니다(출처 ①). 두 가지를 어디서 출발해 어떻게 추리는지가 두 방식의 차이입니다.

2. 두 단계 방식: 후보를 고르고 다시 본다

Faster R-CNN 은 그림 전체의 합성곱 특징을 RPN 과 탐지 신경망이 같이 쓰게 하고, 둘을 신경망 하나로 합쳤습니다. 논문의 말로 RPN 은 합친 신경망에 「어디를 볼지」 알려 줍니다(출처 ①). 흐름은 이렇습니다.

그림 백본(합성곱) 특징 맵 영역 제안 네트워크 (RPN) 후보 영역 RoI 풀링 같은 크기로 잘라 모음 분류 헤드 무엇인가 박스 헤드 박스 다듬기
백본은 한 번만 돕니다. 특징 맵을 RPN 과 RoI 풀링이 같이 씁니다(초록 화살표). RPN 이 낸 후보 영역은 「특징 맵의 어디를 잘라 올지」만 알려 주고, 헤드(head) 둘은 잘라 모은 특징을 받아 클래스(class)를 맞히고 박스를 다듬습니다.

아래 실험에서 이 길을 특징 맵의 칸 하나부터 따라갑니다.

「다음」을 누르면 한 걸음씩 나아갑니다. 회색 선은 특징 맵의 칸, 주황 칠은 지금 보는 칸, 보라 점선은 앵커, 파랑은 후보 영역, 초록(✓)은 NMS 로 남긴 후보, 회색 점선(✕)은 지운 후보, 검은 화살표는 박스의 가운데가 옮겨 간 길입니다. 그림 좌표는 특징 맵의 칸 단위이고, 칸은 (열, 행)으로 0 부터 셉니다. 그림, 앵커, 점수, 보정값, 후보는 모두 보여 주려고 지어낸 작은 값입니다. 겹친 후보를 지우는 규칙은 객체 탐지의 NMS, 칸을 모으는 생각은 풀링을 보세요.

3. 식이 만들어지는 과정: 바운딩 박스 회귀

실험의 5단계 셈입니다. 앵커 A1 은 가운데 (1.5, 2.5), 폭 2, 높이 2 이고, RPN 이 낸 보정값은 (dx, dy, dw, dh) = (0.2, −0.2, 1.1, 1.1) 입니다.

  1. 칸 수만큼 옮기기: cx′ = cx + dx. 가장 쉬운 꼴입니다. 그런데 같은 dx = 0.2 가 폭 1 인 앵커에게는 폭의 5 분의 1, 폭 4 인 앵커에게는 20 분의 1 입니다. 같은 숫자가 앵커마다 다른 뜻이 됩니다.
  2. 앵커 크기에 곱하기: cx′ = cx + dx × w. 이제 dx = 0.2 는 어느 앵커에게나 「폭의 0.2 배만큼 오른쪽」입니다. A1 은 1.5 + 0.2 × 2 = 1.9, 위아래는 2.5 + (−0.2) × 2 = 2.1.
  3. 폭과 높이는 배수로: w′ = w × dw. 더하기(w + dw)로 두면 음수 보정값에 폭이 0 이하가 될 수 있습니다. 0 보다 큰 배수를 곱하면 폭이 늘 0 보다 큽니다. A1 은 2 × 1.1 = 2.2.

cx′ = cx + dx × w
cy′ = cy + dy × h
w′ = w × dw
h′ = h × dh

모서리로 바꾸면 x1 = cx′ − w′ ÷ 2 = 1.9 − 1.1 = 0.8 처럼 해서 후보 P1 = (0.8, 1.0) ~ (3.0, 3.2) 입니다.

이 식에 대해. 이 꼴은 이 쪽이 보여 주려고 정한 간단한 식입니다. 실제 탐지기의 식도 가운데를 옮기고 폭·높이를 늘리는 모양은 같지만, 세부는 다를 수 있습니다. 라이브러리를 쓸 때는 그 문서의 식을 확인하세요. 보정값의 숫자도 지어낸 값입니다.

4. 한 단계 방식: 격자 칸마다 한 번에

YOLO 는 탐지를 「공간에 나뉘어 놓인 박스들을 맞히는 회귀 문제」로 봅니다. 신경망 하나가 그림 전체에서 박스와 클래스 확률을 한 번의 계산으로 바로 냅니다(출처 ②). 후보를 고르는 단계가 따로 없습니다. 그림에 S × S 격자를 얹고, 물체의 가운데가 든 칸이 그 물체를 맡습니다. 칸마다 박스 B 개와 클래스 C 개의 확률을 내므로 출력의 크기는 이렇습니다.

출력의 크기 = S × S × (B × 5 + C)

이 실험은 4 × 4 × (2 × 5 + 2) = 4 × 4 × 12 = 192 개의 숫자를 냅니다. x, y 는 칸 안의 자리(칸의 왼쪽 위가 0, 오른쪽 아래가 1), w, h 는 그림 전체에 대한 비율로 이 쪽이 정했습니다. S, B, C 의 4, 2, 2 도 보여 주려고 고른 작은 값입니다.

격자의 칸을 누르면(또는 그림을 고른 뒤 화살표 키) 그 칸이 내는 숫자 12 개가 위 줄에 펴지고, 그 칸의 박스 둘이 그림에 그려집니다. 위 줄의 파랑 묶음 둘은 박스 1·2 의 (x, y, w, h, 신뢰도), 주황 묶음은 클래스 확률(공, 병)입니다. 그림의 파랑 실선은 박스 1, 점선은 박스 2 이고, 선이 굵을수록 신뢰도가 높습니다. 파란 점은 박스의 가운데, 검은 점은 물체의 가운데입니다. 초록 칠은 물체의 가운데가 든 칸, 회색 칠은 맡은 물체가 없는 칸입니다. 숫자는 모두 지어낸 값이고, 맡은 물체가 없는 칸의 숫자는 고정 시드(seed)의 난수로 만들었습니다.

해 볼 것. ① 처음 칸 (1, 1)에는 공의 가운데 (1.9, 2.1)이 있습니다. 박스 1 의 신뢰도가 0.9, 클래스 확률은 공 0.92 입니다. ② 칸 (2, 2)는 병의 가운데 (4.2, 3.6)을 품어 병을 맡습니다. 박스 1 의 신뢰도 0.85, 병 0.94 입니다. ③ 공이 걸쳐 있지만 가운데는 없는 칸 (0, 1)을 누르면 박스의 신뢰도가 0.15 이하입니다. 공을 맡는 칸은 하나뿐입니다. ④ 어느 칸을 눌러도 파란 점(박스의 가운데)은 그 칸 안에 있습니다. x, y 가 칸 안의 자리이기 때문입니다.

5. 두 방식 비교하기

두 단계(Faster R-CNN)한 단계(YOLO)
그림을 몇 번 보나백본은 한 번 돈다. RPN 과 탐지 신경망이 그 특징을 같이 쓴다(①). 그다음 후보마다 헤드가 한 번 더 본다신경망 하나가 한 번의 계산으로 박스와 클래스 확률을 낸다(②)
무엇이 후보를 내나RPN 이 자리마다 물체일 점수와 박스를 낸다(①)따로 내지 않는다. 격자의 칸이 그대로 자리가 된다
박스를 어떻게 맞히나앵커를 보정해 후보를 만들고, 박스 헤드가 한 번 더 다듬는다칸마다 박스를 바로 맞힌다. 탐지를 회귀 문제로 본다(②)
논문이 적은 장단점YOLO 논문은 당시의 가장 좋은 탐지기들과 비교해, YOLO 가 박스 자리 오차는 더 많지만 없는 물체를 있다고 하는 일은 훨씬 적다고 적었습니다(②).

어떤 일에 어느 쪽을 쓰는지는 객체 탐지의 「언제 무엇을 쓰나」 표에 있습니다. 두 방식 모두 끝에 박스가 많이 남아 NMS 로 거릅니다.

6. 마스크 헤드를 하나 더

Mask R-CNN 은 Faster R-CNN 에 물체 마스크를 맞히는 갈래를 하나 더했습니다. 이미 있는 박스 인식 갈래와 나란히 붙였습니다(출처 ③). 후보마다 클래스와 박스에 더해 그 물체의 모양(마스크)도 내므로, 물체마다 따로 칠하는 인스턴스 분할(instance segmentation)이 됩니다.

후보마다 잘라 모은 특징 분류 헤드 → 클래스 박스 헤드 → 박스 마스크 헤드 → 모양
2절 그림의 헤드 둘 옆에 점선 헤드 하나. 백본, 특징 맵, RPN, RoI 풀링은 그대로 두고 마스크 헤드를 나란히 붙입니다.

픽셀마다 이름을 다는 일과 그 성적을 재는 법은 영상 분할 쪽에 있습니다.

어디에 쓰나

두 방식 모두 탐지기라서 쓰는 곳은 객체 탐지의 「어디에 쓰나」와 같습니다. 자율 주행과 로봇, 공장 검사, 드론과 위성 사진, 의료 영상, 라벨 검수입니다. 5절 표처럼 두 단계 방식은 후보마다 헤드가 한 번 더 보고, 한 단계 방식은 신경망 하나가 한 번의 계산으로 박스와 클래스 확률을 냅니다. YOLO 논문은 YOLO 가 박스 자리 오차는 더 많지만 없는 물체를 있다고 하는 일은 훨씬 적다고 적었습니다(②). 어떤 일에 어느 쪽을 쓰는지는 객체 탐지의 「언제 무엇을 쓰나」 표에 있습니다.

자주 묻는 것

두 단계 방식은 그림을 백본에 두 번 넣나요?

아니요. Faster R-CNN 은 영역 제안 네트워크(RPN)가 탐지 신경망과 그림 전체의 합성곱 특징을 같이 쓰게 해서 둘을 신경망 하나로 합쳤습니다. 백본은 한 번 돌고, 두 번째로 보는 것은 특징 맵에서 잘라 온 후보의 자리입니다.

물체일 점수와 클래스 확률은 어떻게 다른가요?

물체일 점수는 「여기에 무엇이든 물체가 있나」만 묻고, 클래스 확률은 「있다면 무엇인가」를 묻습니다. 두 단계 방식에서는 RPN 이 앞의 것을, 분류 헤드가 뒤의 것을 맡습니다. 이 쪽의 한 단계 실험은 박스마다 신뢰도 하나, 칸마다 클래스 확률 C 개를 냅니다.

한 단계 방식도 NMS 가 필요한가요?

네. 칸마다 박스를 B 개씩 내므로 박스가 S × S × B 개 나오고, 한 물체 둘레에 겹친 박스가 여럿 남을 수 있습니다. 두 방식 모두 박스를 많이 내고 NMS 로 거릅니다.

낱말

여기서 쓴 말책에서 부르는 말
특징을 뽑는 앞부분백본(backbone)
특징 맵feature map
후보 영역을 내는 작은 신경망영역 제안 네트워크, RPN(region proposal network)
물체가 있을 만한 자리후보 영역(region proposal)
미리 정해 둔 박스앵커(anchor), 앵커 박스
물체일 점수objectness score
박스 보정바운딩 박스 회귀(bounding box regression)
같은 크기로 잘라 모으기RoI 풀링(RoI pooling). RoI 는 region of interest
마지막에 답을 내는 부분헤드(head)
박스에 물체가 있다는 믿음신뢰도(confidence)
한 단계 방식, 두 단계 방식단일 단계 탐지기(one-stage detector), 2단계 탐지기(two-stage detector)
마스크, 물체마다 따로 칠하기마스크(mask), 인스턴스 분할(instance segmentation)

출처

  1. Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, arXiv:1506.01497, 2015. RPN 이 탐지 신경망과 그림 전체의 합성곱 특징을 같이 쓰기, 자리마다 물체의 경계와 물체일 점수를 같이 맞히기, 둘을 신경망 하나로 합치기, 「어디를 볼지」.
  2. Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, You Only Look Once: Unified, Real-Time Object Detection, arXiv:1506.02640, 2015. 탐지를 회귀 문제로 보기, 한 번의 계산으로 상자와 종류 확률, 위치 오차와 잘못 찾기.
  3. He, Gkioxari, Dollár, Girshick, Mask R-CNN, arXiv:1703.06870, 2017. 상자 인식 갈래 옆에 마스크 갈래를 나란히 더하기.

← 객체 탐지영상 분할 →