합성곱과 CNN: 그림을 읽는 신경망
사진을 보고 고양이인지 아는 신경망은 그림을 어떻게 읽을까요? 시작은 필터(filter)라는 아주 작은 숫자 틀 하나입니다. 그 필터를 그림 위에서 한 칸씩 옮기며 곱하고 더하면, 그림 속의 선과 가장자리가 숫자로 드러납니다. 직접 칠하고 옮겨 보세요.
한 줄 답. 합성곱은 필터(작은 숫자 틀)를 그림 위에서 한 칸씩 옮겨 가며, 겹친 칸끼리 곱해 더한 값을 새 그림에 적는 일입니다. 필터의 숫자에 따라 가장자리, 무늬 같은 특징이 드러납니다. CNN(합성곱 신경망)은 이 필터의 숫자를 사람이 정하지 않고 학습으로 정하는 신경망입니다.
2×2 최대 풀링
왼쪽 그림의 칸을 누르거나 끌면 칠하고, 칠한 칸을 누르면 지웁니다. 칠한 칸은 1, 빈 칸은 0 입니다. 파란 테두리가 필터가 지금 겹친 자리와 결과에서 지금 적는 칸입니다. 결과의 초록은 양수(+), 주황은 음수(−)이고 클수록 진합니다. 결과 칸에 마우스를 올리거나 칸을 누르면 그 칸의 셈이 나옵니다. 「흐리게」의 0.11 은 1/9 을 줄여 적은 것입니다. 이 실험의 필터는 사람이 정한 것입니다. 진짜 CNN 은 이런 필터를 여러 개 학습으로 정하고 층을 여러 번 쌓습니다(7절).
1. 그림은 숫자 격자다
컴퓨터에게 흑백 그림은 숫자가 든 표입니다. 표의 한 칸이 화소(픽셀)이고, 칸마다 밝기를 숫자 하나로 적습니다. 보통 0(검정)에서 255(흰색)까지 적고, 신경망에 넣을 때는 255 로 나눠 0~1 로 맞추는 일이 많습니다.
이 쪽의 실험은 거꾸로 「얼마나 칠했나」를 적습니다. 칠한 칸이 1, 빈 칸이 0 입니다. 흰 종이에 쓴 손글씨를 떠올리면 됩니다. 셈하는 법은 똑같습니다.
색 사진은 격자가 세 장입니다. 빨강, 초록, 파랑의 세기를 한 장씩 적습니다. 이 한 장을 채널이라고 부릅니다.
| 그림 | 격자 | 숫자의 수 |
|---|---|---|
| 이 쪽의 실험 | 12×12 한 장 | 144 |
| 흑백 사진 1920×1080 | 1920×1080 한 장 | 2,073,600 |
| 색 사진 1920×1080 | 1920×1080 세 장(빨강, 초록, 파랑) | 6,220,800 |
2. 합성곱: 필터를 옮기며 곱해서 더하기
필터는 3×3 처럼 작은 숫자 표입니다. 합성곱은 이렇게 합니다.
- 필터를 그림의 왼쪽 위에 겹칩니다.
- 겹친 아홉 칸에서 그림의 숫자와 필터의 숫자를 짝지어 곱합니다.
- 곱한 아홉 개를 모두 더해 결과의 첫 칸에 적습니다.
- 필터를 오른쪽으로 한 칸 옮겨 되풀이합니다. 줄 끝에 닿으면 한 줄 내려 왼쪽부터 다시 합니다.
식으로 적으면 결과의 i 행 j 열은 이렇습니다.
결과(i, j) = 입력(i+m, j+n) × 필터(m, n) 을 m, n = 0, 1, 2 에 대해 모두 더한 것 (이 식이 만들어지는 과정은 3절)
실험에서는 입력 위의 파란 테두리가 지금 겹친 자리이고, 그 아래 줄에 아홉 쌍의 곱과 합이 나옵니다. 흐린 쌍은 한쪽이 0 이라 곱도 0 인 쌍입니다.
해 볼 것. ① 처음 화면(세로선, 세로 가장자리 필터)에서 「다음 칸」을 세 번 누르면 결과 1행 4열에 2 가 적힙니다. 필터의 오른쪽 열(1)이 선의 두 칸에 겹쳐서 1×1 + 1×1 = 2 입니다. ② 「끝까지」를 누르면 선의 왼쪽 가장자리를 따라 3(초록), 오른쪽 가장자리를 따라 −3(주황)이 세로로 늘어섭니다. 선의 위아래 끝 줄은 2 와 −2 이고, 선의 한가운데와 빈 곳은 0 입니다. ③ 그림에 칸을 몇 개 더 칠해 보세요. 결과가 바로 바뀝니다.
3. 식이 만들어지는 과정
위의 식과 결과 크기 식(6절)이 어디서 나오는지 한 조각씩 만들어 봅니다. 그림은 위 실험의 처음 화면과 같습니다. 입력 x 는 12×12 세로선, 필터 k 는 세로 가장자리 필터(−1 0 1 / −1 0 1 / −1 0 1), 결과는 y 입니다. 칸 번호는 0 부터 셉니다. x[1][3] 은 위에서 둘째 줄, 왼쪽에서 넷째 칸입니다. i, j 는 결과 칸의 자리, m, n 은 필터 안의 자리입니다. 크기는 대문자로 적습니다. N 은 입력의 한 변(12), K 는 필터의 한 변(3), P 는 둘레에 두르는 0 의 줄 수인 패딩(padding), S 는 필터를 한 번에 옮기는 칸 수인 스트라이드(stride)입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 바뀌고, 아래에 까닭이 나옵니다. 파란 테두리는 필터가 놓인 자리와 그 합이 적히는 결과 칸입니다. 입력 옆의 작은 격자 셋은 필터가 덮은 아홉 칸을 크게 본 것입니다(겹친 입력, 필터, 곱). 파란 화살표는 그 단계에서 값이 가는 길입니다. ① 덮인 아홉 칸을 크게 본 칸으로, ③ 아홉 곱이 한 점에 모여 결과 한 칸으로, ④~⑥ 필터가 다음 자리로 옮겨 가는 칸 수입니다. ②③ 에서는 곱하는 짝(입력×필터)과 그 합을 그림 안에 글로 적습니다. 결과의 초록은 양수, 주황은 음수입니다. 움직임을 줄이도록 설정한 기기에서는 단계마다 끝 모습만 보입니다.
- 필터 올리기:
x[1+m][3+n]. 필터의 왼쪽 위를x[1][3]에 두면 필터 안의 m 줄 n 칸이 입력의 1+m 줄 3+n 칸에 겹칩니다(m, n = 0, 1, 2). - 곱하기:
· k[m][n]. 겹친 칸마다 같은 자리의 필터 숫자를 곱합니다. 필터를 뒤집지 않으니 양쪽에 같은 m, n 이 붙습니다(8절). - 더하기:
y[1][3] = Σₘ Σₙ …. Σ(시그마)는 「모두 더하기」입니다. 아홉 곱의 합0 + 0 + 1 + 0 + 0 + 1 + 0 + 0 + 1 = 3이 결과의 한 칸입니다. - 옮기기:
y[i][j] = Σₘ Σₙ x[i+m][j+n] · k[m][n],결과 크기 = N − K + 1. 자리 1, 3 을 i, j 로 적으면 모든 칸의 식이 됩니다. 필터는 오른쪽으로 N − K = 9 번 옮길 수 있고, 처음 자리를 더해 10 자리입니다. 세로도 같아서 결과는 10×10 입니다. - 패딩:
+ 2P. 둘레에 0 을 P 줄 두르면 한 변이 N + 2P 가 되어 자리가 2P 늘어납니다. P = 1 이면12 + 2 − 3 + 1 = 12, 결과가 입력과 같은 12×12 입니다. - 스트라이드:
x[S·i+m][S·j+n],결과 크기 = ⌊(N + 2P − K) ÷ S⌋ + 1. S 칸씩 건너뛰면 i 번째 자리는 S·i 에서 시작합니다. 첫 자리 뒤로 (N + 2P − K) ÷ S 번 건너뛸 수 있고, 소수 부분은 필터가 밖으로 삐져나가는 자리라 버립니다(⌊ ⌋가 소수를 버리라는 표시). S = 2, P = 1 이면⌊11 ÷ 2⌋ + 1 = 5 + 1 = 6.
마지막 식의 x 는 0 을 두른 뒤의 그림입니다. 두르기 전 그림의 번호로 적으면 x[S·i − P + m][S·j − P + n] 이고, 그림 밖의 칸은 0 으로 셉니다. 위 실험도 이렇게 셈합니다.
4. 손으로 따라 풀기: 4×4 그림과 2×2 필터
작은 그림으로 끝까지 해 봅니다. 그림은 오른쪽이 칠해져 있고, 아래 두 줄은 칠한 곳이 왼쪽으로 한 칸 넓습니다. 필터는 「오른쪽 − 왼쪽」입니다.
그림 (4×4)
| 0 | 0 | 1 | 1 |
| 0 | 0 | 1 | 1 |
| 0 | 1 | 1 | 1 |
| 0 | 1 | 1 | 1 |
필터 (2×2)
| −1 | 1 |
| −1 | 1 |
결과 크기는 (4 − 2) ÷ 1 + 1 = 3, 곧 3×3 입니다(6절의 식).
- 1행 1열. 필터를 그림의 1~2행, 1~2열에 겹칩니다. 겹친 그림 칸은
0 0 / 0 0.0×(−1) + 0×1 + 0×(−1) + 0×1 = 0 - 1행 2열. 한 칸 오른쪽, 1~2행 2~3열. 그림 칸은
0 1 / 0 1.0×(−1) + 1×1 + 0×(−1) + 1×1 = 2 - 1행 3열. 1~2행 3~4열. 그림 칸은
1 1 / 1 1.1×(−1) + 1×1 + 1×(−1) + 1×1 = 0. 둘 다 칠해져 있어 차이가 없습니다. - 2행. 한 줄 내려 2~3행에 겹칩니다. 1열은
0 0 / 0 1이라0 + 0 + 0 + 1 = 1, 2열은0 1 / 1 1이라0 + 1 − 1 + 1 = 1, 3열은1 1 / 1 1이라 0. - 3행. 3~4행에 겹칩니다. 1열은
0 1 / 0 1이라 2, 2열과 3열은1 1 / 1 1이라 0.
결과 (3×3)
| 0 | 2 | 0 |
| 1 | 1 | 0 |
| 2 | 0 | 0 |
큰 값은 「왼쪽은 비고 오른쪽은 칠한」 자리, 곧 세로 가장자리에서 나옵니다. 가장자리가 아래에서 왼쪽으로 옮겨 간 것도 결과에 그대로 보입니다. 다 칠한 곳(1 1 / 1 1)과 빈 곳은 0 입니다. 2행에 1 이 둘 나온 까닭은 필터의 두 줄 가운데 한 줄만 가장자리에 걸쳤기 때문입니다.
5. 필터가 고르는 특징
같은 그림이라도 필터가 다르면 다른 것이 드러납니다. 필터 하나는 「여기 이런 모양이 있나?」라는 질문입니다. 그림의 모양이 필터의 숫자 모양과 닮은 자리에서 큰 값이 나옵니다. 실험의 미리 만든 필터는 이렇습니다(줄은 / 로 나눴습니다).
| 필터 | 숫자 | 하는 일 |
|---|---|---|
| 세로 가장자리 | −1 0 1 / −1 0 1 / −1 0 1 | 오른쪽 열에서 왼쪽 열을 뺀다. 좌우가 같으면 0, 다르면 큰 값. 세로로 난 가장자리를 찾는다 |
| 가로 가장자리 | −1 −1 −1 / 0 0 0 / 1 1 1 | 아래 줄에서 위 줄을 뺀다. 가로로 난 가장자리를 찾는다 |
| 흐리게(평균) | 아홉 칸 모두 1/9 | 아홉 칸의 평균. 경계가 부드럽게 번진다 |
| 선명하게 | 0 −1 0 / −1 5 −1 / 0 −1 0 | 가운데를 5배 하고 위아래 좌우 이웃을 뺀다. 이웃과 다른 칸이 더 도드라진다 |
| 그대로 | 가운데만 1 | 가운데 칸을 그대로 옮겨 적는다 |
해 볼 것. ① 세로선에 「가로 가장자리」를 쓰면 선의 위 끝(1행)에 1 2 2 1, 아래 끝(10행)에 −1 −2 −2 −1 만 남고 가운데는 모두 0 입니다. ② 「네모」에 「흐리게」를 쓰면 안쪽은 1 이고, 밖으로 가며 0.67, 0.33 으로 옅어집니다. 모서리 바깥은 0.11 입니다. ③ 「네모」에 「선명하게」를 쓰면 안쪽은 1, 테두리 칸은 2, 네 모서리는 3 이 되고, 바로 바깥에 −1 테가 생깁니다. ④ 「대각선」을 고르고 필터에 1 0 0 / 0 1 0 / 0 0 1 을 넣으면 대각선 위에서만 3(양 끝은 2)이 나오고 나머지는 모두 0 입니다.
6. 결과 크기: 스트라이드와 패딩
3×3 필터는 그림 밖으로 삐져나갈 수 없어서, 12×12 그림 위에서 가로로 10 자리, 세로로 10 자리에만 놓입니다. 그래서 결과는 10×10 으로 조금 줄어듭니다. 크기를 바꾸는 손잡이가 둘 있습니다.
- 스트라이드(stride): 필터를 한 번에 몇 칸씩 옮기나. 2 칸씩 옮기면 결과가 가로세로 반쯤으로 줍니다.
- 패딩(padding): 그림 둘레에 0 을 몇 줄 두르나. 한 줄 두르면 필터의 가운데가 그림의 맨 가장자리 칸 위에도 놓일 수 있어, 결과 크기가 그림과 같아집니다.
결과 크기 = (입력 크기 + 2 × 패딩 − 필터 크기) ÷ 스트라이드 + 1 (나눗셈의 소수 부분은 버립니다. 이 식이 만들어지는 과정은 3절)
| 스트라이드 | 패딩 | 셈 | 결과 |
|---|---|---|---|
| 1 | 없음 | (12 + 0 − 3) ÷ 1 + 1 = 10 | 10×10 |
| 1 | 한 줄 | (12 + 2 − 3) ÷ 1 + 1 = 12 | 12×12 |
| 2 | 없음 | 9 ÷ 2 = 4.5 → 4, 4 + 1 = 5 | 5×5 |
| 2 | 한 줄 | 11 ÷ 2 = 5.5 → 5, 5 + 1 = 6 | 6×6 |
채우는 까닭은 둘입니다. 층을 여러 번 쌓아도 그림이 자꾸 줄어들지 않게 하려고, 그리고 가장자리 칸도 가운데 칸처럼 여러 번 셈에 들어가게 하려고입니다. 채우지 않으면 맨 귀퉁이 칸은 필터가 단 한 번만 지나갑니다.
해 볼 것. ① 스트라이드 「2」를 누르면 결과가 5×5 가 됩니다. 「처음으로」를 누르고 「다음 칸」을 눌러 보면 파란 테두리가 두 칸씩 건너뜁니다. ② 패딩 「0 으로 한 줄」을 누르면 입력 둘레에 점선 칸(0)이 생기고 결과가 12×12 가 됩니다. ③ 필터를 「그대로」로 두고 패딩을 켜면 결과가 처음 그림과 똑같습니다.
7. CNN: 필터의 숫자를 학습으로 정한다
지금까지는 사람이 필터의 숫자를 정했습니다. CNN 은 필터의 숫자를 신경망의 가중치로 둡니다. 처음에는 아무 숫자로 시작하고, 답을 틀린 만큼 역전파로 숫자마다 기울기(그래디언트)를 구해 경사 하강법으로 조금씩 고칩니다. 사진 수많은 장으로 이것을 되풀이하면, 분류에 쓸모 있는 필터가 저절로 생깁니다.
왜 그림에는 합성곱을 쓰나
- 가중치가 적다. 100×100 흑백 그림을 같은 크기의 층에 하나하나 모두 이으면
10,000 × 10,000 = 1억개의 가중치가 듭니다. 3×3 필터 하나는 9 개입니다. 같은 필터를 모든 자리에 다시 쓰기 때문입니다. - 물체가 어디 있든 찾는다. 같은 필터가 모든 자리를 훑으므로, 고양이 귀가 왼쪽 위에 있든 오른쪽 아래에 있든 같은 반응이 그 자리에 나옵니다. 그림을 옮기면 결과도 같이 옮겨질 뿐입니다.
- 가까운 칸끼리 본다. 그림에서 뜻이 있는 것(선, 모서리)은 가까운 칸들이 모여 만듭니다. 3×3 필터는 바로 이웃만 봅니다.
짜임: 합성곱 → ReLU → 풀링을 되풀이하고, 끝에서 분류
그림 → [합성곱 → ReLU → 풀링] → [합성곱 → ReLU → 풀링] → … → 한 줄로 펼치기 → 완전 연결 층 → 「고양이 0.9, 개 0.1」
- 합성곱 층. 필터를 여러 개 씁니다. 필터마다 결과가 한 장씩 나오므로 필터가 16 개면 결과도 16 장입니다. 이 결과를 특징 맵(feature map)이라고 부릅니다. 다음 층의 필터는 이 여러 장을 한꺼번에 겹쳐 봅니다(3×3×16 개의 숫자).
- ReLU. 음수를 0 으로 바꿉니다. 곱하고 더하기만 여러 번 쌓으면 결국 곱하고 더하기 한 번과 같아집니다. 층 사이에 이렇게 꺾는 곳이 있어야 층을 쌓는 보람이 있습니다.
- 풀링. 2×2 칸마다 가장 큰 값 하나만 남깁니다(최대 풀링). 결과가 가로세로 반이 되어 셈이 줄고, 특징이 한두 칸 옮겨져도 같은 값이 남습니다.
- 분류. 마지막에 격자를 한 줄로 펼쳐 보통의 신경망 층(완전 연결 층)에 넣고, 종류마다 점수를 냅니다.
여러 장을 한꺼번에: 입력 채널과 필터 수
색 그림처럼 입력이 여러 장이면 필터도 같은 수의 장으로 만듭니다. 필터 하나가 입력의 모든 장을 같은 자리에서 한꺼번에 덮고, 장마다 곱해 더한 값을 다시 모두 더해 출력 한 칸을 만듭니다. 그래서 필터 하나가 출력 한 장을 만들고, 출력의 장 수는 필터 수와 같습니다. 아래는 4×4 입력 세 장과 3×3×3 필터 둘입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 입력과 필터는 장을 오른쪽 아래로 벌려 비스듬히 쌓았습니다(맨 위가 장1). 입력 칸은 숫자가 클수록 진합니다. 파란 테두리는 필터가 놓인 자리(세 장 모두 같은 자리)와 그 값이 적히는 출력 칸이고, 점선 테두리는 필터가 막 떠난 자리입니다. 파란 화살표는 그 단계의 일입니다. ① 필터의 장이 입력의 같은 장으로, ② 세 장의 합이 모여 출력 한 칸으로, ③ 필터의 한 칸 옮김, ④ 둘째 필터의 값이 출력 장2 로. 필터의 숫자와 출력 칸은 초록이 양수, 주황이 음수입니다. 숫자는 지어낸 것입니다.
식으로 적으면 3절의 식에 장 번호 c, 필터 번호 f, 편향(bias) b 가 붙습니다.
y[f][i][j] = Σc Σₘ Σₙ x[c][i+m][j+n] · kf[c][m][n] + bf
- y[f][i][j]: 출력의 f 번째 장, i 줄 j 칸. 출력 한 장이 필터 하나의 결과입니다(f = 0 이 필터 A).
- x[c][i+m][j+n]: 입력의 c 번째 장(채널)의 칸. 이 예에서 c = 0, 1, 2 가 그림의 장1, 장2, 장3 입니다.
- kf[c][m][n]: f 번째 필터의 c 번째 장, m 줄 n 칸의 숫자. 필터의 장 수는 입력의 장 수와 같습니다.
- i, j 와 m, n: 3절과 같이 출력 칸의 자리와 필터 안의 자리(0, 1, 2)입니다.
- Σc: 장마다 낸 곱의 합을 장끼리 다시 모두 더하라는 표시입니다.
- bf: f 번째 필터의 편향. 필터마다 숫자 하나를 마지막에 더합니다.
필터 하나에 든 숫자는 3 × 3 × 입력 채널 수에 편향 하나를 더한 것입니다. 층 하나에서 학습으로 정하는 숫자(파라미터)의 수는 이렇습니다.
파라미터 수 = 필터 수 × (3 × 3 × 입력 채널 수 + 1) = 2 × (3 × 3 × 3 + 1) = 2 × 28 = 56
- 필터 수: 2(필터 A, B). 출력의 장 수와 같습니다.
- 3 × 3: 필터 한 장의 세로와 가로.
- 입력 채널 수: 3. 필터 하나의 장 수와 같습니다.
- + 1: 필터마다 하나씩 있는 편향 b.
그림의 가로세로(4×4 든 1920×1080 이든)는 이 수에 들어가지 않습니다. 같은 필터를 모든 자리에 다시 쓰기 때문입니다. 위에서 말한 「3×3×16 개의 숫자」도 입력이 16 장일 때 필터 하나의 숫자 수(편향 빼고)입니다.
앞쪽 층은 선, 뒤쪽 층은 큰 모양
첫 층의 결과 한 칸은 그림의 3×3 만 봅니다. 그 결과 위에 3×3 합성곱을 한 번 더 하면, 둘째 층의 한 칸은 그림의 5×5 를 본 셈이 됩니다. 풀링을 거치면 보는 넓이가 더 빨리 커집니다. 그래서 앞쪽 층은 선, 가장자리, 색 얼룩 같은 작은 것에 반응하고, 뒤쪽 층은 그것들을 묶어 눈이나 바퀴 같은 부분, 더 뒤에서는 얼굴이나 자동차 같은 큰 모양에 반응합니다. 학습된 CNN 의 층마다 무엇에 반응하는지 그림으로 본 연구가 출처의 Zeiler, Fergus 논문입니다.
해 볼 것. ① 처음 화면에서 「끝까지」를 누른 뒤 「음수를 0 으로(ReLU)」를 켜면 주황(−3) 줄이 모두 0 이 되고 초록(+3) 줄만 남습니다. ② 이어서 「2×2 최대 풀링」을 누르면 10×10 결과가 5×5 로 줄고, 둘째와 셋째 열에 3 이 남습니다. ③ 스트라이드 2 에서 풀링을 하면 5×5 가 2×2 가 됩니다. 2×2 로 묶이지 않는 마지막 줄은 버립니다.
8. 엄밀히는 「교차상관」
수학에서 말하는 합성곱은 필터를 위아래, 좌우로 뒤집은 다음 겹쳐서 곱하고 더합니다. 그런데 딥러닝 라이브러리의 합성곱 층은 필터를 뒤집지 않고 그대로 겹칩니다. 이것을 엄밀히는 교차상관이라고 부릅니다(출처의 PyTorch 문서도 그렇게 적습니다). 이 쪽의 실험도 뒤집지 않습니다.
CNN 에서는 이 차이가 문제가 되지 않습니다. 필터의 숫자를 학습으로 정하므로, 뒤집는 방식이었다면 뒤집힌 숫자를 배울 뿐입니다. 사람이 정한 필터를 옮겨 쓸 때만 조심하면 됩니다. 세로 가장자리 필터의 −1 0 1 을 좌우로 뒤집으면 1 0 −1 이 되어 결과의 부호가 모두 바뀝니다. 웹 브라우저의 SVG 필터 feConvolveMatrix 는 수학처럼 필터를 뒤집어 셈합니다.
9. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 같은 필터를 모든 자리에 쓴다 | 숫자 9 개로 그림 전체를 훑는다. 그래서 가중치가 적다 |
| 그림을 옮기면 결과도 그만큼 옮겨진다 | 스트라이드가 1 이면, 물체가 어디 있든 같은 반응이 그 자리에 나온다 |
| 결과 한 칸은 입력의 좁은 곳만 본다 | 3×3 필터면 3×3. 층을 쌓으면 넓어진다(3×3 두 번이면 5×5) |
| 곱하고 더하기뿐이다 | 그래서 층 사이에 ReLU 같은 꺾는 곳을 둔다 |
결과 크기 = (N + 2P − K) ÷ S + 1 | N 입력 크기, P 패딩, K 필터 크기, S 스트라이드. 나눗셈의 소수는 버린다. 채우지 않으면 결과가 작아진다 |
어디에 쓰나
- 사진 분류. 사진에 무엇이 있는지 고릅니다(고양이, 개, 자동차).
- 물체 찾기. 사진 속 물체마다 상자를 치고 이름을 답니다. 차의 카메라가 사람과 신호등을 찾는 일이 이런 일입니다.
- 의료 영상. X선, CT, 현미경 사진에서 의심되는 곳을 표시해 의사가 먼저 보게 합니다.
- 글자 읽기. 손글씨 숫자와 글자를 읽습니다. 출처의 1998년 논문(LeCun 외)이 손글씨를 읽는 CNN 으로 합성곱과 풀링을 되풀이하는 이 짜임을 보였습니다.
- 사진 편집. 흐리게, 선명하게, 가장자리 찾기 효과는 사람이 정한 필터로 하는 합성곱입니다. 포토샵 같은 사진 편집 프로그램의 흐림 효과도 같은 셈을 합니다.
요즘은 그림을 16×16 조각으로 잘라 낱말처럼 늘어놓고 트랜스포머로 읽는 방법(ViT)도 그림에 씁니다.
자주 묻는 것
합성곱(convolution)이 뭔가요?
필터(작은 숫자 틀)를 그림 위에서 한 칸씩 옮겨 가며, 겹친 칸끼리 곱해 더한 값을 새 격자에 적는 일입니다. 필터의 숫자에 따라 가장자리, 흐림, 무늬 같은 것이 드러납니다.
CNN 의 필터 숫자는 누가 정하나요?
학습이 정합니다. 처음에는 아무 숫자로 시작하고, 답을 틀린 만큼 역전파로 기울기를 구해 경사 하강법으로 조금씩 고칩니다. 사람은 필터의 크기와 개수만 정합니다.
수학의 합성곱과 딥러닝의 합성곱은 다른가요?
조금 다릅니다. 수학의 합성곱은 필터를 위아래, 좌우로 뒤집은 뒤 곱해 더하고, 딥러닝 라이브러리는 뒤집지 않습니다(교차상관). CNN 은 필터를 학습으로 정하므로 이 차이가 문제가 되지 않습니다.
풀링은 왜 하나요?
결과를 작게 줄여 다음 층의 셈을 줄이고, 특징이 한두 칸 옮겨져도 같은 값이 남게 하려고 합니다. 2×2 최대 풀링은 네 칸 가운데 가장 큰 값 하나만 남겨 가로세로를 반으로 줄입니다.
색 사진은 어떻게 합성곱하나요?
색 사진은 빨강, 초록, 파랑 세 장의 격자입니다. 필터도 세 장(3×3×3)으로 만들어, 장마다 곱해 더한 값을 다시 모두 더해 한 칸에 적습니다. 그래서 필터 하나가 결과 한 장을 만듭니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 숫자 틀, 필터 | 필터(filter), 커널(kernel) |
| 칸 | 화소, 픽셀(pixel) |
| 색 한 장 | 채널(channel) |
| 필터마다 마지막에 더하는 숫자 | 편향, 바이어스(bias) |
| 결과 격자 | 특징 맵(feature map), 활성화 맵(activation map) |
| 한 번에 옮기는 칸 수 | 스트라이드(stride) |
| 둘레에 0 을 두르기 | 패딩(padding), 제로 패딩(zero padding) |
| 음수를 0 으로 | ReLU(rectified linear unit). 이런 꺾는 함수를 활성화 함수(activation function)라고 한다 |
| 네 칸 가운데 가장 큰 값만 남기기 | 최대 풀링(max pooling) |
| 같은 필터를 모든 자리에 쓰기 | 가중치 공유(weight sharing) |
| 결과 한 칸이 보는 입력의 넓이 | 수용 영역(receptive field) |
| 필터를 뒤집지 않고 겹치기 | 교차상관(cross-correlation) |
| 끝에서 모두 잇는 층 | 완전 연결 층(fully connected layer), 밀집 층(dense layer) |
| 합성곱 신경망 | CNN(convolutional neural network) |
출처
- LeCun, Bottou, Bengio, Haffner (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE.
- Zeiler, Fergus (2013). Visualizing and Understanding Convolutional Networks. 층마다 무엇에 반응하는지 그림으로 보였습니다.
- Dumoulin, Visin (2016). A guide to convolution arithmetic for deep learning. 보폭과 채우기에 따른 결과 크기.
- PyTorch torch.nn.Conv2d 문서. 교차상관이라는 것과 결과 크기 식.
- W3C Filter Effects: feConvolveMatrix.
- Dosovitskiy 외 (2020). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT).