객체 탐지: IoU, NMS, mAP

사진 한 장에 고양이 두 마리가 있으면 「고양이」라는 답 하나로는 모자랍니다. 어디에 몇 마리 있는지 바운딩 박스(bounding box)로 짚어야 합니다. 예측 박스를 끌어 정답 박스와 얼마나 맞는지 재는 IoU 를 만들고, 한 물체에 겹쳐 나온 박스들을 NMS 로 걸러 보세요.

한 줄 답. 객체 탐지는 그림 속 물체마다 바운딩 박스, 이름, 신뢰도 점수(confidence score)를 내는 일입니다. 박스가 맞았는지는 IoU = 겹친 넓이 ÷ 합친 넓이로 잽니다: IoU = I ÷ (A + B − I), 0 ~ 1. 탐지기는 한 물체에 박스를 여러 개 내므로, 점수가 가장 높은 박스를 남기고 그것과 많이 겹치는 박스를 지우는 NMS 로 거릅니다. 탐지기 전체의 성적은 IoU 기준(예: 0.5)으로 맞음과 틀림을 가른 뒤 정밀도-재현율 곡선의 넓이로 낸 AP, 그것을 클래스(class)마다 평균 낸 mAP 로 적습니다.

예측 P:

파란 예측 박스 P 를 끌어 옮기고, 오른쪽 아래 손잡이를 끌어 크기를 바꿔 보세요. 숫자 칸으로도 고칠 수 있습니다(칸 단위. 그림 좌표라 y 는 아래로 커집니다). 「다음」을 누르면 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각, 진한 주황은 틀린 길), 그림에 그 조각이 칠해지고, 아래에 까닭이 나옵니다. 초록이 정답 G, 파랑이 예측 P, 주황이 겹친 곳 I, 보라 점선이 큰 박스 H 입니다. 박스는 모두 지어낸 것입니다.

1. 분류, 탐지, 분할

같은 사진에 묻는 것이 셋입니다.

일묻는 것내는 것
분류이 그림은 무엇인가?그림 하나에 이름 하나(와 점수). 「고양이」
탐지무엇이 어디에 몇 개 있나?물체마다 박스, 이름, 신뢰도 점수. 「고양이, (40, 30) ~ (200, 180), 0.93」이 두 줄
분할픽셀 하나하나가 무엇인가?그림과 같은 크기의 이름 지도. 같은 클래스를 한 이름으로 칠하면 시맨틱 분할, 물체마다 따로 칠하면 인스턴스 분할

바운딩 박스는 숫자 넷입니다. 이 쪽은 왼쪽 위 (x1, y1) 과 오른쪽 아래 (x2, y2) 로 적습니다. 가운데와 크기 (cx, cy, w, h) 로 적는 곳도 있어서, 라이브러리를 쓸 때는 어느 형식인지 먼저 확인합니다(torchvision 의 nms 는 앞의 형식을 받습니다). 그림 좌표는 왼쪽 위가 (0, 0) 이고 y 는 아래로 커집니다.

신뢰도 점수는 「이 박스에 이 물체가 있다」는 모델의 믿음으로, 0 ~ 1 입니다. 확률처럼 보이지만, 점수가 0.8 인 박스 열 개 가운데 꼭 여덟이 맞는다는 보장은 없습니다. 보통 점수가 낮은 박스를 먼저 버리고(점수 기준), 남은 것을 NMS 로 거릅니다. 탐지기의 백본(backbone)은 그림에서 특징을 뽑는 합성곱 신경망입니다(CNN 구조).

2. 식이 만들어지는 과정: IoU

위 실험의 G 는 사람이 그린 정답 박스, P 는 모델이 낸 예측 박스입니다. A 는 G 의 넓이, B 는 P 의 넓이, I 는 겹친 넓이, U 는 합친 넓이(둘 가운데 하나라도 덮은 넓이)입니다. 처음 자리는 G = (4, 3) ~ (10, 7), P = (6, 4) ~ (12, 8) 이고, 넓이는 칸 수로 셉니다.

  1. 겹친 넓이만: 점수 = I. 많이 겹칠수록 잘 맞힌 것 같습니다. P 는 G 와 12 칸 겹칩니다.
  2. 큰 박스가 이긴다. H = (2, 1) ~ (16, 10) 처럼 G 를 다 덮는 큰 박스는 G 전체, 24 칸과 겹칩니다. P 의 12 보다 큽니다. 까닭: 겹친 넓이는 박스를 크게 그릴수록 늘기만 합니다. 이 점수로는 아무 데나 큰 박스를 그리는 모델이 1등입니다.
  3. 합친 넓이로 나누기: I ÷ U. P 는 12 ÷ 36 = 0.33, H 는 24 ÷ 126 = 0.19 입니다. 이제 H 가 집니다. 까닭: 넓게 그린 만큼 U 가 커져 점수가 깎입니다. 너무 작게 그리면 I 가 작아 깎입니다. 자리와 크기가 둘 다 맞아야 점수가 높습니다.
  4. 완성: IoU = I ÷ (A + B − I). U 를 바로 세기는 번거로우니 넓이 둘을 더합니다. 그러면 겹친 곳을 두 번 세므로 I 를 한 번 뺍니다: 24 + 24 − 12 = 36. 이름도 여기서 나옵니다. Intersection over Union, 「겹친 것 ÷ 합친 것」입니다. 0 ~ 1 이고, 꼭 맞으면 1, 겹치지 않으면 0 입니다.

해 볼 것. ① 처음에는 I 12, U 36, IoU 0.33 입니다. ② 숫자 칸에 4, 3, 10, 7 을 넣어 P 를 G 에 꼭 맞추면 IoU 가 1 입니다. ③ 거기서 오른쪽으로 한 칸(5, 3, 11, 7) 밀면 0.71, 두 칸(6, 3, 12, 7) 밀면 꼭 0.5 입니다. 폭 6 인 박스가 두 칸 어긋나면 흔히 쓰는 기준 0.5 에 겨우 걸립니다. ④ P 를 G 안에 작게(5, 4, 7, 6) 넣으면 I 는 P 전체인 4 인데 IoU 는 0.17 입니다. G 를 다 덮으며 폭만 두 배로(4, 3, 16, 7) 그리면 0.5 입니다. 너무 작아도, 너무 커도 깎입니다. ⑤ 모서리만 닿게(10, 7, 16, 11) 두면 0 입니다.

3. 손으로 풀어 보기

처음 자리 G = (4, 3) ~ (10, 7), P = (6, 4) ~ (12, 8) 로 IoU 를 냅니다.

  1. 넓이. A = (10 − 4) × (7 − 3) = 24, B = (12 − 6) × (8 − 4) = 24.
  2. 겹친 박스. 왼쪽은 큰 쪽 max(4, 6) = 6, 위는 max(3, 4) = 4, 오른쪽은 작은 쪽 min(10, 12) = 10, 아래는 min(7, 8) = 7. 겹친 박스는 (6, 4) ~ (10, 7) 입니다.
  3. 겹친 넓이. 폭 10 − 6 = 4, 높이 7 − 4 = 3, I = 12. 폭이나 높이가 0 이하로 나오면 겹치지 않은 것이라 0 으로 둡니다. 이것을 빠뜨리면 멀리 떨어진 두 박스에서 음수 × 음수가 양수가 되어 겹친 것처럼 나옵니다.
  4. 합친 넓이와 IoU. U = 24 + 24 − 12 = 36, IoU = 12 ÷ 36 = 0.33.
function iou(a, b) {   // a, b = [x1, y1, x2, y2]
  const w = Math.max(0, Math.min(a[2], b[2]) - Math.max(a[0], b[0]));
  const h = Math.max(0, Math.min(a[3], b[3]) - Math.max(a[1], b[1]));
  const i = w * h;
  const u = (a[2] - a[0]) * (a[3] - a[1]) + (b[2] - b[0]) * (b[3] - b[1]) - i;
  return u > 0 ? i / u : 0;
}

4. IoU 의 성질

성질쉬운 말실험에서
0 ~ 1꼭 맞으면 1, 겹치지 않으면 0. 모서리만 닿아도 0해 볼 것 ②, ⑤
자리와 크기를 같이 본다너무 크면 U 가 커져서, 너무 작으면 I 가 작아져서 깎인다해 볼 것 ④
눈금이 바뀌어도 같다두 박스를 같이 두 배로 키우면 I 와 U 가 모두 네 배라 IoU 는 그대로다. 픽셀로 재든 비율로 재든 같은 값(0, 0) ~ (2, 2) 와 (1, 1) ~ (3, 3) 의 IoU 와, 그 두 배 박스들의 IoU 가 모두 1/7
작은 물체에 엄격하다같은 한 칸 어긋남도 작은 박스에서 더 크게 깎인다폭 6 박스를 한 칸 밀면 0.71, 폭 2 박스(높이 2)를 한 칸 밀면 0.33
떨어진 거리를 모른다겹치지 않으면 바로 옆이든 멀리든 0 이다. IoU 하나만으로는 어느 쪽으로 옮겨야 나아지는지 알 수 없다P 를 G 에서 멀리 끌어 보기

5. 겹친 박스 거르기: NMS

탐지기는 그림의 여러 자리에서 박스를 냅니다. 그래서 물체 하나에 조금씩 어긋난 박스가 여러 개 나옵니다. 그대로 두면 한 마리를 여러 마리로 셉니다. NMS(non-maximum suppression, 「가장 높지 않은 것 누르기」)는 이렇게 거릅니다.

  1. 박스를 점수가 높은 차례로 늘어놓습니다.
  2. 맨 앞, 곧 점수가 가장 높은 박스를 결과에 남깁니다.
  3. 남은 박스 가운데 방금 남긴 박스와 IoU 가 기준보다 큰 것을 지웁니다. 같은 물체를 가리킨 중복으로 봅니다.
  4. 남은 박스가 없을 때까지 2 ~ 3 을 되풀이합니다.

「다음 걸음」마다 NMS 를 한 번 돕니다. 초록 굵은 박스(✓)는 남긴 것이고 그중 가장 굵은 것이 이번 걸음에 남긴 박스, 주황 점선(✕)은 이번 걸음에 지운 것, 회색 점선(✕)은 앞 걸음에 지운 것, 파랑은 아직 차례를 기다리는 것입니다. 기준을 바꾸면 같은 걸음 수까지 새 기준으로 다시 돕니다. 왼쪽 물체에 A, B, C, 오른쪽 물체에 D, E, F 가 나왔다고 지어낸 작게 줄인 본보기입니다. 진짜 탐지기는 박스를 훨씬 많이 냅니다.

해 볼 것. ① 기준 0.5 로 「다음 걸음」을 누르면 A(0.92)가 남고 B(IoU 0.71), C(0.57)가 지워집니다. 한 번 더 누르면 D(0.88)가 남고 E(0.58), F(0.77)가 지워져 박스 둘 A, D 로 끝납니다. 물체 둘에 박스 둘입니다. ② 기준을 0.6 으로 올리면 C(0.57)와 E(0.58)가 살아남아 박스 넷 A, D, E, C 가 됩니다. 한 물체를 두 번 셉니다. 0.8 이면 하나도 지우지 않아 여섯 개가 다 남습니다. ③ 기준을 0.15 로 내리면 A 가 옆 물체의 D(IoU 0.17)까지 지웁니다. 점수가 더 낮은 E 가 대신 남아 결과는 A, E 입니다. 0.05 면 E(IoU 0.07)까지 지워 A 하나만 남고, 오른쪽 물체를 잃습니다.

기준이 높으면 중복이 남고, 낮으면 붙어 선 다른 물체까지 지웁니다. 사람이 몰려 선 사진처럼 물체끼리 많이 겹치는 그림에서 NMS 가 어려운 까닭입니다. 실제로는 보통 클래스마다 따로 NMS 를 돌려, 고양이 박스가 옆의 개 박스를 지우지 않게 합니다(torchvision 의 batched_nms).

6. 한 단계 방식과 두 단계 방식

둘 다 박스를 많이 내고 NMS 로 거릅니다. 그래서 위의 IoU 와 NMS 는 어느 쪽을 쓰든 같이 따라옵니다.

7. 탐지기의 성적: AP 와 mAP

박스 하나는 IoU 로 재지만, 탐지기 전체는 많은 그림의 박스를 모아 잽니다. 클래스 하나(예: 고양이)에 대해 이렇게 합니다.

  1. 모든 그림의 예측 박스를 점수가 높은 차례로 늘어놓습니다.
  2. 위에서부터 하나씩, 아직 짝이 없는 정답 박스와 IoU 가 기준(예: 0.5) 이상이면 맞음, 아니면 틀림으로 셉니다. 같은 물체에 두 번째로 온 박스도 틀림입니다. NMS 가 중복을 못 거르면 여기서 점수가 깎입니다.
  3. 한 줄 내려갈 때마다 정밀도(맞음 ÷ 지금까지 낸 박스)와 재현율(맞음 ÷ 정답 박스 수)을 적습니다. 이 점들이 정밀도-재현율 곡선입니다.
  4. 곡선 아래 넓이가 AP 입니다. 클래스마다 AP 를 내고 평균한 것이 mAP 입니다.

정답 박스가 3 개, 예측 박스가 5 개인 예입니다.

차례점수판정정밀도재현율
10.95맞음1/1 = 11/3 = 0.33
20.9맞음2/2 = 12/3 = 0.67
30.8틀림2/3 = 0.670.67
40.6맞음3/4 = 0.753/3 = 1
50.4틀림3/5 = 0.61

재현율이 1/3 씩 오를 때마다 그때의 정밀도를 곱해 더하면 1/3 × 1 + 1/3 × 1 + 1/3 × 0.75 ≈ 0.92 가 AP 입니다. 벤치마크마다 곡선의 들쭉날쭉을 펴는 방법(보간)과 재는 점의 수가 조금씩 달라, 같은 결과도 숫자가 조금 다르게 나올 수 있습니다.

IoU 기준. COCO 문서는 IoU 0.5 기준의 AP 를 Pascal VOC 의 지표로 적습니다. COCO 자신은 기준을 0.5, 0.55, …, 0.95 의 10 개로 바꿔 가며 낸 AP 의 평균을 주 점수로 쓰고, 기준 하나의 값도 AP50, AP75 로 같이 적습니다. COCO 는 클래스 평균까지 낸 값을 그냥 AP 라고 부르고 AP 와 mAP 를 가르지 않습니다. 그래서 논문의 「AP」가 사실은 mAP 인 때가 많습니다.

8. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
분류만라벨이 싸다(그림마다 이름 하나). 모델과 계산이 작다어디에 몇 개 있는지 모른다그림 한 장에 답 하나면 될 때. 불량품인가, 어떤 종류의 사진인가
한 단계 탐지(YOLO 계열)그림을 한 번만 통과시켜 빠르다. 구조가 단순하다처음 YOLO 논문은 당시의 가장 좋은 탐지기들보다 박스 자리 오차가 많고, 무리 지은 작은 물체(새 떼)에 약하다고 스스로 적었다영상을 실시간으로 볼 때, 휴대폰이나 작은 기기에서 돌릴 때
두 단계 탐지(R-CNN 계열)후보 영역마다 한 번 더 보고 박스를 다듬는다단계가 둘이라 대개 한 단계 방식보다 느리고 구조가 복잡하다속도보다 정확도가 중요할 때, 찍어 둔 사진을 몰아서 처리할 때
분할(픽셀 단위)모양과 넓이를 정확히 안다. 비스듬하거나 휜 물체도 박스의 빈 곳 없이 짚는다라벨이 비싸다(윤곽을 따라 그려야 한다). 계산이 더 든다넓이를 재야 할 때(병변, 밭, 지붕), 로봇이 물체를 집을 때, 겹친 물체의 경계가 필요할 때

어느 쪽이 더 정확한지는 모델의 판과 설정, 자료에 따라 바뀝니다. 순위를 외우기보다 내 자료로 mAP 와 속도를 직접 재서 고릅니다.

어디에 쓰나

자주 묻는 것

IoU 기준은 왜 0.5 인가요?

정해진 법칙이 아니라 관례입니다. Pascal VOC 의 평가가 IoU 0.5 를 썼고 많은 곳이 따랐습니다. COCO 는 0.5 부터 0.95 까지 기준 10 개의 평균을 주 점수로 써서, 자리를 더 정확히 맞힌 탐지기가 더 높은 점수를 받게 합니다. 박스를 정확히 그려야 하는 일이면 더 높은 기준(예: 0.75)의 점수를 봅니다.

NMS 의 IoU 기준과 평가의 IoU 기준은 같은 것인가요?

다릅니다. 같은 IoU 계산을 다른 곳에 씁니다. NMS 의 기준은 탐지기가 낸 박스끼리 비교해 중복을 지울 때, 평가의 기준은 예측 박스를 정답 박스와 비교해 맞음과 틀림을 가를 때 씁니다. 두 숫자가 같을 필요도 없습니다.

정확도(accuracy) 대신 mAP 를 쓰는 까닭은 무엇인가요?

탐지에서는 「여기에 물체가 없다」고 맞힌 것(참 음성)을 셀 수 없습니다. 박스가 없어야 할 자리는 끝없이 많기 때문입니다. 그래서 참 음성을 쓰지 않는 정밀도와 재현율로 잽니다. 또 AP 는 점수 기준을 모든 값으로 바꿔 가며 본 곡선의 넓이라, 점수 기준 하나를 정하지 않고도 탐지기를 비교할 수 있습니다.

낱말

여기서 쓴 말책에서 부르는 말
물체 찾기객체 탐지(object detection)
물체를 두르는 상자바운딩 박스, 경계 상자(bounding box)
박스에 물체가 있다는 모델의 믿음신뢰도 점수(confidence score)
정답 박스그라운드 트루스(ground truth) 박스
겹친 넓이 ÷ 합친 넓이IoU(intersection over union), 자카드 지수(Jaccard index)
겹친 박스 거르기비최대 억제(non-maximum suppression, NMS)
물체가 있을 만한 자리후보 영역(region proposal). 그것을 내는 신경망은 RPN(region proposal network)
한 단계 방식, 두 단계 방식단일 단계 탐지기(one-stage detector), 2단계 탐지기(two-stage detector)
물체의 종류클래스(class)
픽셀마다 이름 달기분할(segmentation). 시맨틱 분할(semantic segmentation), 인스턴스 분할(instance segmentation)
맞음, 틀림참 양성(true positive, TP), 거짓 양성(false positive, FP)
정밀도, 재현율precision, recall
곡선 아래 넓이평균 정밀도(average precision, AP)
클래스마다 AP 를 평균mAP(mean average precision)
들쭉날쭉 펴기보간(interpolation)

출처

← 잔차 연결(ResNet)탐지기의 구조: R-CNN 계열과 YOLO →