영상 분할: U-Net 과 Dice

사진 속 고양이를 바운딩 박스(bounding box)로 두르는 대신, 고양이인 픽셀을 하나하나 칠하는 일이 영상 분할입니다. 12 × 12 칸에 예측을 칠해 보며 IoU 와 Dice 가 어떻게 매겨지는지, 배경이 많으면 왜 정확도가 믿을 수 없는지 봅니다.

한 줄 답. 영상 분할은 픽셀마다 클래스를 매기는 일입니다. 결과는 사진과 같은 크기의 칠한 지도(마스크)입니다. 대표 구조인 U-Net 은 사진을 줄여 가며 무엇인지 알아내고, 다시 키우며 어디인지 되살리고, 줄이기 전의 자세한 지도를 스킵 연결(skip connection)로 가져와 경계를 맞춥니다. 잘했는지는 정답과 겹친 정도로 잽니다: IoU = |A∩B| ÷ |A∪B|, Dice = 2·|A∩B| ÷ (|A| + |B|). 배경이 대부분인 사진에서는 픽셀 정확도가 거의 쓸모없어서, 학습에도 Dice 를 손실로 쓰곤 합니다.

정답 |A|
예측 |B|
겹침 |A∩B|
합침 |A∪B|
IoU
Dice
픽셀 정확도

✓ 겹친 칸, + 더 칠한 칸, ○ 놓친 칸

칸을 누르면 예측이 칠해지거나 지워집니다(키보드: 화살표로 옮기고 Space). 초록 칸이 정답 A(20칸)이고, 진하게 칠한 칸이 예측 B 입니다. 처음 예측은 정답을 오른쪽으로 두 칸 민 모양입니다. 칸 144개로 작게 줄인 본보기입니다. 진짜 사진은 픽셀이 수만 개가 넘고, 모델은 칸마다 0 ~ 1 의 확률을 낸 뒤 기준값으로 잘라 칠합니다.

1. 영상 분할이란: 픽셀마다 이름 붙이기

사진을 다루는 일은 답을 얼마나 자세히 내느냐로 나뉩니다. 분류는 사진 한 장에 이름 하나(「고양이」)를 붙입니다. 객체 탐지는 물체마다 박스와 이름을 붙입니다. 영상 분할은 픽셀 하나하나에 이름을 붙입니다. 결과는 사진과 같은 크기의 지도이고, 칸마다 「고양이」「배경」 같은 클래스 번호가 들어 있습니다. 이 지도를 마스크라고 부릅니다. 박스와 달리 모양과 경계를 그대로 압니다.

영상 분할에는 두 갈래가 있습니다. 고양이 두 마리가 붙어 있는 사진으로 봅니다.

이 쪽은 시맨틱 분할을 중심으로 봅니다. 위 실험은 클래스가 둘(물체와 배경)인 가장 작은 경우입니다. 클래스가 여럿이면 클래스마다 같은 계산을 따로 합니다.

2. 식이 만들어지는 과정: Dice

정답 마스크의 물체 칸을 A, 예측 마스크의 물체 칸을 B 라고 합니다. |A| 는 A 의 칸 수, A∩B 는 둘 다인 칸(겹침), A∪B 는 둘 중 하나라도인 칸(합침)입니다. 「다음」을 누르면 식이 한 조각씩 붙습니다(주황 바탕이 이번에 붙은 조각). 그림은 위 실험에서 칠한 예측을 그대로 쓰고, 칸의 숫자는 이번 조각에서 그 칸을 몇 번 세는지입니다.

  1. 겹친 칸 세기: |A∩B|. 처음 예측은 12칸이 겹칩니다. 겹칠수록 잘 맞힌 것이지만, 이 수만 보면 모든 칸을 칠한 예측이 가장 좋은 점수(20)를 받습니다.
  2. 두 크기의 합으로 나누기: |A∩B| ÷ (|A| + |B|). 12 ÷ (20 + 20) = 0.3. 더 칠한 칸이 분모를 키워 점수를 깎습니다. 모든 칸을 칠하면 20 ÷ 164 = 0.12 입니다. 하지만 완전히 같아도 20 ÷ 40 = 0.5 에서 멈춥니다. 겹친 칸이 분모에서 두 번 세어지기 때문입니다.
  3. 2 를 곱하기: Dice = 2·|A∩B| ÷ (|A| + |B|). 24 ÷ 40 = 0.6. 완전히 같으면 2·|A| ÷ (|A| + |A|) = 1, 하나도 안 겹치면 0 입니다.
  4. IoU 와의 관계: Dice = 2·IoU ÷ (1 + IoU). 두 크기의 합은 합친 모양에 겹친 칸을 한 번 더 센 것입니다: |A| + |B| = |A∪B| + |A∩B|(40 = 28 + 12). 그래서 Dice = 2·|A∩B| ÷ (|A∪B| + |A∩B|) 이고, 위아래를 |A∪B| 로 나누면 이 식이 됩니다. 처음 예측은 IoU = 12 ÷ 28 = 3/7 ≈ 0.43, Dice = (6/7) ÷ (10/7) = 0.6.

해 볼 것. ① 처음 예측으로 끝까지 넘기면 12, 0.3, 0.6, 그리고 IoU 0.43 이 나옵니다. ② 위 실험에서 「정답과 같게」를 누르고 ② 단계를 보면 20 ÷ (20 + 20) = 0.5, ③ 단계에서 1 입니다. ③ 「모두 지우기」를 누르면 겹침이 0 이라 모든 단계가 0 입니다.

3. 손으로 풀어 보기: IoU, Dice, 픽셀 정확도

칸은 네 가지로 나뉩니다. 겹친 칸(정답이고 칠함, ✓), 더 칠한 칸(정답이 아닌데 칠함, +), 놓친 칸(정답인데 안 칠함, ○), 둘 다 배경(정답도 아니고 안 칠함). 위 실험의 처음 예측으로 셉니다.

  1. 칸 세기. 겹친 칸 12, 더 칠한 칸 8, 놓친 칸 8, 둘 다 배경 116. 합 144.
  2. IoU. 합친 모양 = 12 + 8 + 8 = 28. 12 ÷ 28 = 0.43.
  3. Dice. |A| = 12 + 8 = 20, |B| = 12 + 8 = 20. 2 × 12 ÷ 40 = 0.6.
  4. 픽셀 정확도. 맞힌 칸 = 겹친 칸 + 둘 다 배경 = 12 + 116 = 128. 128 ÷ 144 = 0.89.
  5. 아무것도 칠하지 않으면. 맞힌 칸은 둘 다 배경인 124칸. 124 ÷ 144 = 0.86. IoU 와 Dice 는 0.

둘 다 배경인 칸이 116개나 되어, 모양이 꽤 어긋난 예측(0.89)과 아무것도 못 찾은 예측(0.86)의 정확도 차이가 0.03 뿐입니다. IoU 와 Dice 의 식에는 둘 다 배경인 칸이 아예 들어가지 않습니다.

해 볼 것. ① 처음에는 IoU 0.43, Dice 0.6, 정확도 0.89 입니다. ② 「모두 지우기」를 누르면 0, 0, 0.86 입니다. 물체를 하나도 못 찾았는데 정확도는 86% 입니다. ③ 「처음 예측」으로 돌아가 ○ 칸 8개를 칠하면 예측이 28칸이 되어 IoU 0.71, Dice 0.83, 정확도 0.94 입니다. 이어서 + 칸 8개를 지우면 셋 다 1 입니다. ④ 어떻게 칠해도 Dice 는 IoU 보다 작아지지 않습니다.

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
0 ~ 1완전히 같으면 1, 하나도 안 겹치면 0. 정답과 예측을 바꿔 넣어도 값이 같다「정답과 같게」, 「모두 지우기」
둘 다 배경인 칸을 세지 않는다IoU 와 Dice 는 물체 칸과 칠한 칸만 본다. 픽셀 정확도만 그 칸을 맞힌 것으로 센다「모두 지우기」: 정확도 0.86, 둘은 0
Dice ≥ IoUDice = 2·IoU ÷ (1 + IoU). 0 과 1 이 아니면 Dice 가 더 크다처음 0.6 과 0.43
한 장에서는 순서가 같다IoU 가 오르면 Dice 도 오른다. 여러 장의 평균은 순서가 바뀔 수 있다어떤 칸을 바꿔도 둘이 같이 움직인다
많이 칠한다고 오르지 않는다더 칠한 칸은 분모를 키운다+ 칸을 칠할수록 둘 다 내려간다

5. 줄였다 다시 키우기: 인코더·디코더와 U-Net

분할 모델은 픽셀마다 답을 내야 하니 출력이 입력과 같은 크기여야 합니다. 그런데 「이 칸이 고양이인가」는 그 칸 하나만 봐서는 모릅니다. 둘레를 넓게 봐야 합니다. 그래서 두 부분으로 짭니다.

합성곱 쪽의 분류망과 비교하면 다른 곳은 끝입니다. 분류망은 합성곱과 풀링을 되풀이한 뒤, 끝에서 격자를 한 줄로 펼쳐 완전 연결 층에 넣고 사진 한 장에 점수 한 벌(「고양이 0.9, 개 0.1」)을 냅니다. 분할망의 인코더도 합성곱과 풀링을 되풀이하는 데까지는 같습니다. 끝의 「한 줄로 펼치기 → 완전 연결 층」 대신 디코더가 지도를 다시 키워, 점수를 사진 한 장에 한 벌이 아니라 칸마다 한 벌씩 냅니다.

줄였다 키우기만 하면 경계가 뭉개집니다. 줄이며 버린 자세한 위치는 작은 지도에서 되살릴 수 없기 때문입니다. U-Net 은 인코더의 각 크기의 지도를 디코더의 같은 크기 자리로 건너뛰어 보내 옆에 이어 붙입니다. 디코더는 무엇인지(아래에서 올라온 지도)와 어디인지(건너온 자세한 지도)를 같이 보고 경계를 맞춥니다. 그리면 U 자 모양이라 이 이름이 붙었습니다. 원 논문은 정답이 적은 의료 영상을 위해 만들었고, 앞선 완전 합성곱 망을 바탕으로 했다고 적습니다.

사진 64×64×1 마스크 64×64×1 스킵 연결: 같은 크기끼리 이어 붙임 인코더: 줄이며 무엇인지 디코더: 키우며 어디인지 64×64×16 64×64×16 32×32×32 32×32×32 16×16×64 같은 크기끼리 이어 붙임
U-Net 의 모양. 상자의 높이는 지도의 크기, 너비는 채널 수입니다. 숫자는 이 그림을 위해 지어낸 작은 U-Net 의 「가로 × 세로 × 채널」이고, 원 논문의 숫자가 아닙니다. 사진 64×64×1 을 첫 합성곱이 64×64×16 으로 만들고, 한 칸 내려갈 때마다 가로·세로는 반, 채널은 두 배가 됩니다. 올라갈 때는 거꾸로이고, 마지막 층이 칸마다 물체일 확률 하나를 내어 마스크는 64×64×1 입니다. 건너온 지도는 가로·세로가 같은 지도 옆에 채널 방향으로 이어 붙습니다. 예를 들어 32×32×32 와 32×32×32 를 이어 붙이면 32×32×64 가 되고, 이 그림에서는 그 뒤 합성곱이 다시 32 채널로 줄인다고 정했습니다. 주황 화살표는 풀링으로 반으로 줄이기, 파랑 화살표는 두 배로 키우기, 보라 점선은 스킵 연결입니다. 실제 U-Net 은 이보다 층이 많습니다.

스킵 연결은 잔차 연결과 닮았지만 다릅니다. 잔차 연결은 같은 크기의 값을 더하고, U-Net 은 채널 방향으로 이어 붙입니다(자주 묻는 것 3).

6. 업샘플링(upsampling) 방법: 전치 합성곱과 보간 뒤 합성곱

전치 합성곱. 입력 칸 하나가 작은 가중치 판인 커널(kernel)에 곱해져 출력에 조각 하나를 찍습니다. 스트라이드(stride)가 2 면 두 칸씩 옮겨 찍어 지도가 두 배가 됩니다. 조각이 겹치는 곳은 더합니다. 커널을 학습하므로 키우는 법도 배웁니다. U-Net 원 논문은 이 자리에 2 × 2 「up-convolution」을 씁니다. 커널 크기가 스트라이드로 나눠떨어지지 않으면 어떤 칸은 두 번, 어떤 칸은 한 번 찍혀 체커보드 아티팩트(checkerboard artifact, 바둑판 무늬)가 생기기 쉽습니다. 한 줄로 보면 이렇습니다(커널의 값은 모두 1).

입력 [1, 1, 1], 커널 길이 2, 스트라이드 2 → [1, 1, 1, 1, 1, 1]      고르다
입력 [1, 1, 1], 커널 길이 3, 스트라이드 2 → [1, 1, 2, 1, 2, 1, 1]   겹친 자리만 2

두 줄로 넓히면 아래와 같습니다. 입력 2 × 2 와 커널 3 × 3 의 숫자는 지어낸 것이고, 스트라이드는 2 입니다. 「다음」을 누를 때마다 입력 칸 하나의 값 × 커널이 출력에 찍힙니다.

파란 테두리와 화살표는 이번 걸음의 입력 칸과 찍힌 조각, 초록은 진할수록 여러 번 찍힌 칸, 주황 작은 글씨는 「옛 값+새 값」, 보라 작은 숫자는 그 칸이 찍힌 횟수입니다.

출력 크기 = (입력 크기 − 1) × 스트라이드 + 커널 크기

마지막 입력 칸의 조각은 (입력 크기 − 1) × 스트라이드 칸 옮긴 자리에서 시작해 커널 크기만큼 덮기 때문에 이 식이 나옵니다. 커널이 3 칸이고 스트라이드가 2 칸이면 이웃한 조각이 한 줄씩 겹칩니다. 가로로 겹친 줄과 세로로 겹친 줄이 만나는 칸은 2 × 2 = 4 번 찍힙니다. 그래서 다 찍은 출력에는 한 번, 두 번, 네 번 찍힌 칸이 섞여 진한 줄이 격자처럼 지나가고, 커널을 2 × 2 로 바꾸면 모든 칸이 꼭 한 번씩 찍혀 고릅니다.

해 볼 것. ① 「다음」을 네 번 누르면 출력이 다 찹니다. 한가운데 칸은 2 + 1 + 1 + 3 = 7 입니다. ② 「찍힌 횟수 보기」를 켜면 셋째 줄과 셋째 칸은 2, 한가운데는 4, 나머지는 1 입니다. ③ 「커널을 2 × 2 로」를 누르면 출력이 4 × 4 가 되고 모든 칸의 횟수가 1 이라 진하기가 고릅니다.

보간 뒤 합성곱. 먼저 정해진 규칙으로 키웁니다. 가장 가까운 칸을 복사하거나(최근접, [1, 2] → [1, 1, 2, 2]) 이웃 칸들의 가중 평균을 냅니다(쌍선형). 그다음 보통의 합성곱을 한 번 합니다. 키우는 단계는 학습하지 않지만 모든 칸이 같은 방식으로 만들어져 체커보드 아티팩트가 잘 생기지 않습니다. 체커보드 아티팩트를 다룬 Distill 글(출처)이 이 방식을 권합니다.

7. 배경이 대부분일 때: Dice 손실

모델은 칸마다 물체일 확률 p(0 ~ 1)를 냅니다. 흔한 손실은 교차 엔트로피를 칸마다 구해 평균한 것입니다. 칸마다 같은 몫이라, 위 실험처럼 144칸 가운데 124칸이 배경이면 평균에 들어가는 칸의 86% 가 배경입니다. 물체 칸 20개는 7 분의 1 쯤의 몫밖에 없습니다. 그래서 학습이 배경 쪽으로 치우쳐 물체를 놓치거나 일부만 칠하기 쉽습니다. V-Net 논문은 이 문제를 들어 Dice 를 손실로 썼습니다.

Dice 손실은 Dice 를 바로 손실로 씁니다. 0 이나 1 로 칠하는 대신 확률 p 를 그대로 넣어 미분할 수 있게 합니다. g 는 정답(물체 1, 배경 0)이고, Σ 는 모든 칸에 대해 더하라는 뜻입니다.

Dice 손실 = 1 − 2·Σ(p·g) ÷ (Σp + Σg)

둘 다 배경인 칸은 g = 0 이고 p 도 0 에 가까워 분자에도 분모에도 거의 들어가지 않습니다. 배경이 몇 칸이든 손실은 물체 칸과 칠한 칸으로 정해집니다. 그래서 배경이 대부분이어도 물체를 놓치면 손실이 바로 커집니다. 위 실험의 「모두 지우기」는 정확도 0.86 이지만 Dice 는 0, Dice 손실은 1(가장 나쁨)입니다.

주의할 점도 있습니다. 물체가 아주 작으면 칸 하나에 값이 크게 흔들리고, 물체가 없는 사진에서는 분모가 0 에 가까워집니다. 그래서 분모와 분자에 작은 수를 더해 두고, 교차 엔트로피와 더해 같이 쓰기도 합니다. 구현마다 분모를 제곱의 합으로 두는 등 조금씩 다릅니다. 교차 엔트로피에 클래스마다 다른 가중치를 주는 것도 다른 길입니다(클래스 불균형).

8. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
객체 탐지(박스)정답 만들기와 계산이 가볍다모양과 경계를 모른다무엇이 몇 개, 어디쯤 있는지만 알면 될 때
시맨틱 분할픽셀마다 클래스. 경계와 넓이를 안다붙어 있는 같은 클래스 물체를 갈라 세지 못한다. 정답 칠하기에 품이 많이 든다길, 하늘, 땅처럼 셀 수 없는 영역. 넓이를 재야 할 때
인스턴스 분할물체마다 따로 칠해 세고 따로 잴 수 있다구조가 더 복잡하다세포, 사람, 차를 하나씩 다뤄야 할 때
전치 합성곱키우는 법까지 학습한다커널 크기가 스트라이드로 나눠떨어지지 않으면 체커보드 아티팩트가 생기기 쉽다커널 크기를 스트라이드의 배수로 맞출 때(U-Net 원 구조는 2 × 2 up-convolution)
보간 뒤 합성곱체커보드 아티팩트가 잘 생기지 않는다키우는 단계는 정해진 규칙이라 학습하지 않는다결과에 격자 무늬가 보일 때
픽셀 정확도뜻이 쉽다배경이 많으면 아무것도 안 찾아도 높다클래스마다 칸 수가 비슷할 때, 참고로만
IoU어긋남을 엄격하게 잰다. 객체 탐지의 IoU 와 같은 식이다작은 어긋남에도 점수가 많이 깎인다결과 보고. 클래스마다 내어 평균한 mIoU 를 흔히 쓴다
Dice손실로 바꾸기 쉽다. F1 점수와 같은 값이다같은 예측에서 IoU 보다 높게 나와 IoU 와 섞어 비교하면 안 된다결과 보고와 학습의 손실
교차 엔트로피 손실칸마다 확률을 고르게 다듬는다배경이 대부분이면 물체 칸의 몫이 작다클래스마다 칸 수가 비슷할 때. 클래스에 가중치를 줄 때
Dice 손실둘 다 배경인 칸이 식에 들어가지 않아 물체 칸에 집중한다물체가 아주 작거나 없으면 값이 크게 흔들린다배경이 대부분일 때. 교차 엔트로피와 더해 쓰기도 한다

어디에 쓰나

자주 묻는 것

IoU 와 Dice 가운데 무엇을 써야 하나요?

한 장 안에서는 어느 쪽으로 재도 예측들의 순서가 같습니다. Dice = 2·IoU ÷ (1 + IoU) 로 한쪽에서 다른 쪽이 바로 나오기 때문입니다. 숫자의 크기는 달라서 같은 예측이면 Dice 가 더 높습니다. 그래서 남의 결과와 비교할 때는 같은 지표끼리 비교하고, 그 분야에서 흔히 쓰는 쪽을 함께 적습니다.

픽셀 정확도가 95% 인데 왜 나쁜 모델이라고 하나요?

배경이 95% 인 사진이라면 아무것도 칠하지 않아도 정확도가 95% 입니다. 정확도는 둘 다 배경인 칸도 맞힌 것으로 세기 때문입니다. 물체를 얼마나 찾았는지는 그 칸을 빼고 재는 IoU 나 Dice 로 봅니다. 위 실험에서 「모두 지우기」를 누르면 물체를 하나도 못 찾았는데 정확도가 0.86 입니다.

U-Net 의 스킵 연결과 ResNet 의 잔차 연결은 같은 것인가요?

둘 다 앞의 값을 뒤로 바로 보내지만 하는 일이 다릅니다. U-Net 은 줄이기 전의 자세한 지도를 키운 지도 옆에 이어 붙여 경계의 위치를 되살립니다. 잔차 연결은 같은 크기의 값을 더해 깊은 망이 잘 학습되게 합니다.

낱말

여기서 쓴 말책에서 부르는 말
픽셀마다 이름 붙이기영상 분할(image segmentation)
픽셀마다 클래스만시맨틱 분할(semantic segmentation)
물체마다 따로인스턴스 분할(instance segmentation). 둘을 합친 것은 파놉틱 분할(panoptic segmentation)
칠한 지도마스크(mask), 분할 맵(segmentation map)
줄이는 쪽, 키우는 쪽인코더(encoder), 디코더(decoder). U-Net 논문은 contracting path, expansive path
건너뛰어 보내는 연결스킵 연결(skip connection)
키우기업샘플링(upsampling)
조각을 찍어 키우기전치 합성곱(transposed convolution). deconvolution, up-convolution 이라고도 부른다
가장 가까운 칸 복사, 이웃의 가중 평균최근접 보간(nearest-neighbor), 쌍선형 보간(bilinear interpolation)
바둑판 무늬체커보드 아티팩트(checkerboard artifact)
겹침 ÷ 합침IoU(intersection over union), 자카드 지수(Jaccard index)
2 × 겹침 ÷ 두 크기의 합Dice 계수(Dice coefficient, Sørensen–Dice). F1 점수와 같은 값
겹친 칸, 더 칠한 칸, 놓친 칸, 둘 다 배경참 양성(TP), 거짓 양성(FP), 거짓 음성(FN), 참 음성(TN)
맞힌 칸 ÷ 모든 칸픽셀 정확도(pixel accuracy)
배경이 대부분클래스 불균형(class imbalance)
확률을 그대로 넣은 Dice소프트 Dice, Dice 손실(Dice loss)

출처

← 탐지기의 구조: R-CNN 계열과 YOLORNN 과 LSTM →