객체 탐지: IoU, NMS, mAP
사진 한 장에 고양이 두 마리가 있으면 「고양이」라는 답 하나로는 모자랍니다. 어디에 몇 마리 있는지 바운딩 박스(bounding box)로 짚어야 합니다. 예측 박스를 끌어 정답 박스와 얼마나 맞는지 재는 IoU 를 만들고, 한 물체에 겹쳐 나온 박스들을 NMS 로 걸러 보세요.
한 줄 답. 객체 탐지는 그림 속 물체마다 바운딩 박스, 이름, 신뢰도 점수(confidence score)를 내는 일입니다. 박스가 맞았는지는 IoU = 겹친 넓이 ÷ 합친 넓이로 잽니다: IoU = I ÷ (A + B − I), 0 ~ 1. 탐지기는 한 물체에 박스를 여러 개 내므로, 점수가 가장 높은 박스를 남기고 그것과 많이 겹치는 박스를 지우는 NMS 로 거릅니다. 탐지기 전체의 성적은 IoU 기준(예: 0.5)으로 맞음과 틀림을 가른 뒤 정밀도-재현율 곡선의 넓이로 낸 AP, 그것을 클래스(class)마다 평균 낸 mAP 로 적습니다.
파란 예측 박스 P 를 끌어 옮기고, 오른쪽 아래 손잡이를 끌어 크기를 바꿔 보세요. 숫자 칸으로도 고칠 수 있습니다(칸 단위. 그림 좌표라 y 는 아래로 커집니다). 「다음」을 누르면 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각, 진한 주황은 틀린 길), 그림에 그 조각이 칠해지고, 아래에 까닭이 나옵니다. 초록이 정답 G, 파랑이 예측 P, 주황이 겹친 곳 I, 보라 점선이 큰 박스 H 입니다. 박스는 모두 지어낸 것입니다.
1. 분류, 탐지, 분할
같은 사진에 묻는 것이 셋입니다.
| 일 | 묻는 것 | 내는 것 |
|---|---|---|
| 분류 | 이 그림은 무엇인가? | 그림 하나에 이름 하나(와 점수). 「고양이」 |
| 탐지 | 무엇이 어디에 몇 개 있나? | 물체마다 박스, 이름, 신뢰도 점수. 「고양이, (40, 30) ~ (200, 180), 0.93」이 두 줄 |
| 분할 | 픽셀 하나하나가 무엇인가? | 그림과 같은 크기의 이름 지도. 같은 클래스를 한 이름으로 칠하면 시맨틱 분할, 물체마다 따로 칠하면 인스턴스 분할 |
바운딩 박스는 숫자 넷입니다. 이 쪽은 왼쪽 위 (x1, y1) 과 오른쪽 아래 (x2, y2) 로 적습니다. 가운데와 크기 (cx, cy, w, h) 로 적는 곳도 있어서, 라이브러리를 쓸 때는 어느 형식인지 먼저 확인합니다(torchvision 의 nms 는 앞의 형식을 받습니다). 그림 좌표는 왼쪽 위가 (0, 0) 이고 y 는 아래로 커집니다.
신뢰도 점수는 「이 박스에 이 물체가 있다」는 모델의 믿음으로, 0 ~ 1 입니다. 확률처럼 보이지만, 점수가 0.8 인 박스 열 개 가운데 꼭 여덟이 맞는다는 보장은 없습니다. 보통 점수가 낮은 박스를 먼저 버리고(점수 기준), 남은 것을 NMS 로 거릅니다. 탐지기의 백본(backbone)은 그림에서 특징을 뽑는 합성곱 신경망입니다(CNN 구조).
2. 식이 만들어지는 과정: IoU
위 실험의 G 는 사람이 그린 정답 박스, P 는 모델이 낸 예측 박스입니다. A 는 G 의 넓이, B 는 P 의 넓이, I 는 겹친 넓이, U 는 합친 넓이(둘 가운데 하나라도 덮은 넓이)입니다. 처음 자리는 G = (4, 3) ~ (10, 7), P = (6, 4) ~ (12, 8) 이고, 넓이는 칸 수로 셉니다.
- 겹친 넓이만:
점수 = I. 많이 겹칠수록 잘 맞힌 것 같습니다. P 는 G 와 12 칸 겹칩니다. - 큰 박스가 이긴다. H = (2, 1) ~ (16, 10) 처럼 G 를 다 덮는 큰 박스는 G 전체, 24 칸과 겹칩니다. P 의 12 보다 큽니다. 까닭: 겹친 넓이는 박스를 크게 그릴수록 늘기만 합니다. 이 점수로는 아무 데나 큰 박스를 그리는 모델이 1등입니다.
- 합친 넓이로 나누기:
I ÷ U. P 는12 ÷ 36 = 0.33, H 는24 ÷ 126 = 0.19입니다. 이제 H 가 집니다. 까닭: 넓게 그린 만큼 U 가 커져 점수가 깎입니다. 너무 작게 그리면 I 가 작아 깎입니다. 자리와 크기가 둘 다 맞아야 점수가 높습니다. - 완성:
IoU = I ÷ (A + B − I). U 를 바로 세기는 번거로우니 넓이 둘을 더합니다. 그러면 겹친 곳을 두 번 세므로 I 를 한 번 뺍니다:24 + 24 − 12 = 36. 이름도 여기서 나옵니다. Intersection over Union, 「겹친 것 ÷ 합친 것」입니다. 0 ~ 1 이고, 꼭 맞으면 1, 겹치지 않으면 0 입니다.
해 볼 것. ① 처음에는 I 12, U 36, IoU 0.33 입니다. ② 숫자 칸에 4, 3, 10, 7 을 넣어 P 를 G 에 꼭 맞추면 IoU 가 1 입니다. ③ 거기서 오른쪽으로 한 칸(5, 3, 11, 7) 밀면 0.71, 두 칸(6, 3, 12, 7) 밀면 꼭 0.5 입니다. 폭 6 인 박스가 두 칸 어긋나면 흔히 쓰는 기준 0.5 에 겨우 걸립니다. ④ P 를 G 안에 작게(5, 4, 7, 6) 넣으면 I 는 P 전체인 4 인데 IoU 는 0.17 입니다. G 를 다 덮으며 폭만 두 배로(4, 3, 16, 7) 그리면 0.5 입니다. 너무 작아도, 너무 커도 깎입니다. ⑤ 모서리만 닿게(10, 7, 16, 11) 두면 0 입니다.
3. 손으로 풀어 보기
처음 자리 G = (4, 3) ~ (10, 7), P = (6, 4) ~ (12, 8) 로 IoU 를 냅니다.
- 넓이.
A = (10 − 4) × (7 − 3) = 24,B = (12 − 6) × (8 − 4) = 24. - 겹친 박스. 왼쪽은 큰 쪽
max(4, 6) = 6, 위는max(3, 4) = 4, 오른쪽은 작은 쪽min(10, 12) = 10, 아래는min(7, 8) = 7. 겹친 박스는 (6, 4) ~ (10, 7) 입니다. - 겹친 넓이. 폭
10 − 6 = 4, 높이7 − 4 = 3,I = 12. 폭이나 높이가 0 이하로 나오면 겹치지 않은 것이라 0 으로 둡니다. 이것을 빠뜨리면 멀리 떨어진 두 박스에서 음수 × 음수가 양수가 되어 겹친 것처럼 나옵니다. - 합친 넓이와 IoU.
U = 24 + 24 − 12 = 36,IoU = 12 ÷ 36 = 0.33.
function iou(a, b) { // a, b = [x1, y1, x2, y2]
const w = Math.max(0, Math.min(a[2], b[2]) - Math.max(a[0], b[0]));
const h = Math.max(0, Math.min(a[3], b[3]) - Math.max(a[1], b[1]));
const i = w * h;
const u = (a[2] - a[0]) * (a[3] - a[1]) + (b[2] - b[0]) * (b[3] - b[1]) - i;
return u > 0 ? i / u : 0;
}
4. IoU 의 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 0 ~ 1 | 꼭 맞으면 1, 겹치지 않으면 0. 모서리만 닿아도 0 | 해 볼 것 ②, ⑤ |
| 자리와 크기를 같이 본다 | 너무 크면 U 가 커져서, 너무 작으면 I 가 작아져서 깎인다 | 해 볼 것 ④ |
| 눈금이 바뀌어도 같다 | 두 박스를 같이 두 배로 키우면 I 와 U 가 모두 네 배라 IoU 는 그대로다. 픽셀로 재든 비율로 재든 같은 값 | (0, 0) ~ (2, 2) 와 (1, 1) ~ (3, 3) 의 IoU 와, 그 두 배 박스들의 IoU 가 모두 1/7 |
| 작은 물체에 엄격하다 | 같은 한 칸 어긋남도 작은 박스에서 더 크게 깎인다 | 폭 6 박스를 한 칸 밀면 0.71, 폭 2 박스(높이 2)를 한 칸 밀면 0.33 |
| 떨어진 거리를 모른다 | 겹치지 않으면 바로 옆이든 멀리든 0 이다. IoU 하나만으로는 어느 쪽으로 옮겨야 나아지는지 알 수 없다 | P 를 G 에서 멀리 끌어 보기 |
5. 겹친 박스 거르기: NMS
탐지기는 그림의 여러 자리에서 박스를 냅니다. 그래서 물체 하나에 조금씩 어긋난 박스가 여러 개 나옵니다. 그대로 두면 한 마리를 여러 마리로 셉니다. NMS(non-maximum suppression, 「가장 높지 않은 것 누르기」)는 이렇게 거릅니다.
- 박스를 점수가 높은 차례로 늘어놓습니다.
- 맨 앞, 곧 점수가 가장 높은 박스를 결과에 남깁니다.
- 남은 박스 가운데 방금 남긴 박스와 IoU 가 기준보다 큰 것을 지웁니다. 같은 물체를 가리킨 중복으로 봅니다.
- 남은 박스가 없을 때까지 2 ~ 3 을 되풀이합니다.
「다음 걸음」마다 NMS 를 한 번 돕니다. 초록 굵은 박스(✓)는 남긴 것이고 그중 가장 굵은 것이 이번 걸음에 남긴 박스, 주황 점선(✕)은 이번 걸음에 지운 것, 회색 점선(✕)은 앞 걸음에 지운 것, 파랑은 아직 차례를 기다리는 것입니다. 기준을 바꾸면 같은 걸음 수까지 새 기준으로 다시 돕니다. 왼쪽 물체에 A, B, C, 오른쪽 물체에 D, E, F 가 나왔다고 지어낸 작게 줄인 본보기입니다. 진짜 탐지기는 박스를 훨씬 많이 냅니다.
해 볼 것. ① 기준 0.5 로 「다음 걸음」을 누르면 A(0.92)가 남고 B(IoU 0.71), C(0.57)가 지워집니다. 한 번 더 누르면 D(0.88)가 남고 E(0.58), F(0.77)가 지워져 박스 둘 A, D 로 끝납니다. 물체 둘에 박스 둘입니다. ② 기준을 0.6 으로 올리면 C(0.57)와 E(0.58)가 살아남아 박스 넷 A, D, E, C 가 됩니다. 한 물체를 두 번 셉니다. 0.8 이면 하나도 지우지 않아 여섯 개가 다 남습니다. ③ 기준을 0.15 로 내리면 A 가 옆 물체의 D(IoU 0.17)까지 지웁니다. 점수가 더 낮은 E 가 대신 남아 결과는 A, E 입니다. 0.05 면 E(IoU 0.07)까지 지워 A 하나만 남고, 오른쪽 물체를 잃습니다.
기준이 높으면 중복이 남고, 낮으면 붙어 선 다른 물체까지 지웁니다. 사람이 몰려 선 사진처럼 물체끼리 많이 겹치는 그림에서 NMS 가 어려운 까닭입니다. 실제로는 보통 클래스마다 따로 NMS 를 돌려, 고양이 박스가 옆의 개 박스를 지우지 않게 합니다(torchvision 의 batched_nms).
6. 한 단계 방식과 두 단계 방식
- 두 단계(R-CNN 계열). 먼저 물체가 있을 만한 자리(후보 영역)를 고르고, 다음에 자리마다 무엇인지 맞히고 박스를 다듬습니다. Faster R-CNN 은 후보 영역을 내는 작은 신경망(RPN)이 탐지하는 신경망과 그림의 특징을 함께 씁니다.
- 한 단계(YOLO 계열). 후보를 고르는 단계 없이, 그림을 신경망에 한 번 통과시켜 박스와 클래스 점수를 한꺼번에 냅니다. 처음 YOLO 는 그림을 S × S 격자로 나누고 칸마다 박스와 점수를 냅니다. 이름 「You Only Look Once」가 여기서 나왔습니다.
둘 다 박스를 많이 내고 NMS 로 거릅니다. 그래서 위의 IoU 와 NMS 는 어느 쪽을 쓰든 같이 따라옵니다.
7. 탐지기의 성적: AP 와 mAP
박스 하나는 IoU 로 재지만, 탐지기 전체는 많은 그림의 박스를 모아 잽니다. 클래스 하나(예: 고양이)에 대해 이렇게 합니다.
- 모든 그림의 예측 박스를 점수가 높은 차례로 늘어놓습니다.
- 위에서부터 하나씩, 아직 짝이 없는 정답 박스와 IoU 가 기준(예: 0.5) 이상이면 맞음, 아니면 틀림으로 셉니다. 같은 물체에 두 번째로 온 박스도 틀림입니다. NMS 가 중복을 못 거르면 여기서 점수가 깎입니다.
- 한 줄 내려갈 때마다 정밀도(맞음 ÷ 지금까지 낸 박스)와 재현율(맞음 ÷ 정답 박스 수)을 적습니다. 이 점들이 정밀도-재현율 곡선입니다.
- 곡선 아래 넓이가 AP 입니다. 클래스마다 AP 를 내고 평균한 것이 mAP 입니다.
정답 박스가 3 개, 예측 박스가 5 개인 예입니다.
| 차례 | 점수 | 판정 | 정밀도 | 재현율 |
|---|---|---|---|---|
| 1 | 0.95 | 맞음 | 1/1 = 1 | 1/3 = 0.33 |
| 2 | 0.9 | 맞음 | 2/2 = 1 | 2/3 = 0.67 |
| 3 | 0.8 | 틀림 | 2/3 = 0.67 | 0.67 |
| 4 | 0.6 | 맞음 | 3/4 = 0.75 | 3/3 = 1 |
| 5 | 0.4 | 틀림 | 3/5 = 0.6 | 1 |
재현율이 1/3 씩 오를 때마다 그때의 정밀도를 곱해 더하면 1/3 × 1 + 1/3 × 1 + 1/3 × 0.75 ≈ 0.92 가 AP 입니다. 벤치마크마다 곡선의 들쭉날쭉을 펴는 방법(보간)과 재는 점의 수가 조금씩 달라, 같은 결과도 숫자가 조금 다르게 나올 수 있습니다.
IoU 기준. COCO 문서는 IoU 0.5 기준의 AP 를 Pascal VOC 의 지표로 적습니다. COCO 자신은 기준을 0.5, 0.55, …, 0.95 의 10 개로 바꿔 가며 낸 AP 의 평균을 주 점수로 쓰고, 기준 하나의 값도 AP50, AP75 로 같이 적습니다. COCO 는 클래스 평균까지 낸 값을 그냥 AP 라고 부르고 AP 와 mAP 를 가르지 않습니다. 그래서 논문의 「AP」가 사실은 mAP 인 때가 많습니다.
8. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 분류만 | 라벨이 싸다(그림마다 이름 하나). 모델과 계산이 작다 | 어디에 몇 개 있는지 모른다 | 그림 한 장에 답 하나면 될 때. 불량품인가, 어떤 종류의 사진인가 |
| 한 단계 탐지(YOLO 계열) | 그림을 한 번만 통과시켜 빠르다. 구조가 단순하다 | 처음 YOLO 논문은 당시의 가장 좋은 탐지기들보다 박스 자리 오차가 많고, 무리 지은 작은 물체(새 떼)에 약하다고 스스로 적었다 | 영상을 실시간으로 볼 때, 휴대폰이나 작은 기기에서 돌릴 때 |
| 두 단계 탐지(R-CNN 계열) | 후보 영역마다 한 번 더 보고 박스를 다듬는다 | 단계가 둘이라 대개 한 단계 방식보다 느리고 구조가 복잡하다 | 속도보다 정확도가 중요할 때, 찍어 둔 사진을 몰아서 처리할 때 |
| 분할(픽셀 단위) | 모양과 넓이를 정확히 안다. 비스듬하거나 휜 물체도 박스의 빈 곳 없이 짚는다 | 라벨이 비싸다(윤곽을 따라 그려야 한다). 계산이 더 든다 | 넓이를 재야 할 때(병변, 밭, 지붕), 로봇이 물체를 집을 때, 겹친 물체의 경계가 필요할 때 |
어느 쪽이 더 정확한지는 모델의 판과 설정, 자료에 따라 바뀝니다. 순위를 외우기보다 내 자료로 mAP 와 속도를 직접 재서 고릅니다.
어디에 쓰나
- 자율 주행과 로봇. 보행자, 차, 표지판이 어디에 있는지.
- 공장 검사. 불량이 있는지(분류)를 넘어 어디에 있는지.
- 드론과 위성 사진. 차, 건물, 나무를 찾고 셉니다.
- 의료 영상. 살펴볼 자리를 박스로 짚어 사람이 다시 봅니다.
- 라벨 검수. 사람이 그린 박스와 모델의 박스의 IoU 가 낮은 것만 골라 다시 봅니다.
자주 묻는 것
IoU 기준은 왜 0.5 인가요?
정해진 법칙이 아니라 관례입니다. Pascal VOC 의 평가가 IoU 0.5 를 썼고 많은 곳이 따랐습니다. COCO 는 0.5 부터 0.95 까지 기준 10 개의 평균을 주 점수로 써서, 자리를 더 정확히 맞힌 탐지기가 더 높은 점수를 받게 합니다. 박스를 정확히 그려야 하는 일이면 더 높은 기준(예: 0.75)의 점수를 봅니다.
NMS 의 IoU 기준과 평가의 IoU 기준은 같은 것인가요?
다릅니다. 같은 IoU 계산을 다른 곳에 씁니다. NMS 의 기준은 탐지기가 낸 박스끼리 비교해 중복을 지울 때, 평가의 기준은 예측 박스를 정답 박스와 비교해 맞음과 틀림을 가를 때 씁니다. 두 숫자가 같을 필요도 없습니다.
정확도(accuracy) 대신 mAP 를 쓰는 까닭은 무엇인가요?
탐지에서는 「여기에 물체가 없다」고 맞힌 것(참 음성)을 셀 수 없습니다. 박스가 없어야 할 자리는 끝없이 많기 때문입니다. 그래서 참 음성을 쓰지 않는 정밀도와 재현율로 잽니다. 또 AP 는 점수 기준을 모든 값으로 바꿔 가며 본 곡선의 넓이라, 점수 기준 하나를 정하지 않고도 탐지기를 비교할 수 있습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 물체 찾기 | 객체 탐지(object detection) |
| 물체를 두르는 상자 | 바운딩 박스, 경계 상자(bounding box) |
| 박스에 물체가 있다는 모델의 믿음 | 신뢰도 점수(confidence score) |
| 정답 박스 | 그라운드 트루스(ground truth) 박스 |
| 겹친 넓이 ÷ 합친 넓이 | IoU(intersection over union), 자카드 지수(Jaccard index) |
| 겹친 박스 거르기 | 비최대 억제(non-maximum suppression, NMS) |
| 물체가 있을 만한 자리 | 후보 영역(region proposal). 그것을 내는 신경망은 RPN(region proposal network) |
| 한 단계 방식, 두 단계 방식 | 단일 단계 탐지기(one-stage detector), 2단계 탐지기(two-stage detector) |
| 물체의 종류 | 클래스(class) |
| 픽셀마다 이름 달기 | 분할(segmentation). 시맨틱 분할(semantic segmentation), 인스턴스 분할(instance segmentation) |
| 맞음, 틀림 | 참 양성(true positive, TP), 거짓 양성(false positive, FP) |
| 정밀도, 재현율 | precision, recall |
| 곡선 아래 넓이 | 평균 정밀도(average precision, AP) |
| 클래스마다 AP 를 평균 | mAP(mean average precision) |
| 들쭉날쭉 펴기 | 보간(interpolation) |
출처
- Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, You Only Look Once: Unified, Real-Time Object Detection, arXiv:1506.02640. 한 번 통과, S × S 격자, 스스로 적은 약점.
- Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, arXiv:1506.01497. 후보 영역과 RPN, 특징을 함께 쓰기.
- COCO, Detection Evaluation. AP 를 IoU 0.5 ~ 0.95 에서 평균, AP50·AP75, AP 와 mAP 를 가르지 않는다는 것.
- torchvision 문서: nms, batched_nms. 상자 형식 (x1, y1, x2, y2), 기준보다 크면 지우기, 종류마다 따로.