CNN 구조 읽기: LeNet, AlexNet, VGG, ResNet
AlexNet 논문의 층별 표를 보면 11 × 11, 96, 55 × 55 같은 숫자가 줄지어 있습니다. 이 숫자들은 어디서 왔을까요? 일부는 논문이 정한 값이고, 나머지는 식으로 계산한 결과입니다. 층의 값을 바꿔 가며 크기와 파라미터 수가 어떻게 다시 계산되는지 보세요.
한 줄 답. 층별 표의 숫자는 세 곳에서 옵니다. ① 필터 크기·개수·스트라이드(stride, 필터를 옮기는 칸 수)·패딩은 논문이 정한 값입니다. ② 「출력 크기」 열은 (N − K + 2P) ÷ S + 1 로 계산한 결과이고, 파라미터 수도 (K·K·C_in + 1)·C_out 으로 셉니다. ③ 코드에서는 print(model) 이나 torchinfo 의 summary 로 찍어 보면 나옵니다. 다만 프레임워크의 구현은 논문과 다를 수 있습니다.
| 층 | 종류 | 필터 K | 개수 | 스트라이드 S | 패딩 P | 출력 크기 | 파라미터 수 |
|---|
숫자 칸은 모두 고칠 수 있습니다. 출력 크기는 한 변 × 한 변 × 특징 맵 수 이고, 완전연결 층은 뉴런 수만 적습니다. 나누어떨어지지 않는 층은 주황 ⚠ 로 표시하고, 아래 설명 줄에 계산을 적습니다. ReLU, LRN, 드롭아웃은 크기와 파라미터 수를 바꾸지 않아 표에서 뺐습니다. AlexNet 은 논문의 두 GPU 나누기를 빼고 한 덩어리로 셉니다(4절).
해 볼 것. ① 처음(AlexNet, 입력 227)에는 크기가 55, 27, 27, 13, 13, 13, 13, 6 으로 줄고, 파라미터 합계는 62,378,344 개입니다. fc6 하나가 37,752,832 개로 절반이 넘습니다. ② 입력을 224 로 바꾸면 conv1 에 ⚠ 가 뜹니다. (224 − 11 + 2 × 0) ÷ 4 = 53.25 라 나누어떨어지지 않아 54 가 되고, pool1·pool2·pool3 에서도 ⚠ 가 이어져 마지막이 6 이 아니라 5 가 됩니다. fc6 이 받는 값이 9,216 에서 6,400 으로 줄어 합계가 50,844,008 개가 됩니다. conv1 의 34,944 는 그대로입니다. ③ 224 인 채로 conv1 의 패딩을 2 로 바꾸면 크기가 다시 55, 마지막이 6 이 됩니다. ⚠ 는 남습니다(54.25 를 버림). torchvision 의 AlexNet 이 이렇게 합니다. ④ 「VGG 앞부분」을 누르면 224, 224, 112, 112, 112, 56 입니다. 3 × 3, 스트라이드 1, 패딩 1 인 층은 크기를 그대로 두고 풀링만 반으로 줄입니다. 패딩을 0 으로 바꾸면 그 층에서 2 씩 줄어듭니다. ⑤ AlexNet 에서 conv1 의 개수 96 을 바꾸면 conv1 만이 아니라 conv2 의 파라미터 수도 바뀝니다. conv2 가 받는 채널 수가 96 이기 때문입니다.
1. 층별 표 읽는 법
합성곱 신경망(CNN)은 그림을 필터(작은 창)로 훑는 합성곱 층과, 크기를 줄이는 풀링 층을 번갈아 쌓고, 끝에 모든 값을 잇는 완전연결 층을 둔 신경망입니다. 논문은 이 층들을 표나 그림으로 적습니다. 표의 줄 하나가 층 하나입니다.
| 열 | 뜻 | 어디서 오나 |
|---|---|---|
| 종류 | 합성곱, 최대 풀링, 완전연결 | 논문 |
| 필터 크기 K | 한 번에 보는 창의 한 변. 11 이면 11 × 11 칸 | 논문 |
| 개수 | 필터가 몇 개인가. 곧 출력 특징 맵의 장 수 | 논문 |
| 스트라이드 S | 창을 몇 칸씩 옮기나 | 논문 |
| 패딩 P | 가장자리에 0 을 몇 줄 두르나 | 논문. 적지 않은 논문도 있다 |
| 출력 크기 | 한 변 × 한 변 × 특징 맵 수 | 식으로 계산(2절) |
| 파라미터 수 | 학습으로 정하는 숫자의 개수 | 식으로 계산(3·4절) |
특징 맵 수 = 필터 개수. 필터 하나가 입력 전체를 훑으면 숫자 판 한 장이 나옵니다. 이 판이 특징 맵입니다. 그래서 「96 kernels」는 출력이 96 장이라는 뜻이고, 다음 층은 이 96 장을 채널 96 개로 받습니다. 처음 입력의 채널은 빨강·초록·파랑 셋입니다.
2. 크기 열은 식으로 계산한다
한 변이 N 인 입력에 필터 K, 스트라이드 S, 패딩 P 를 쓰면 출력의 한 변은 (N − K + 2P) ÷ S + 1 입니다. 이 식이 나오는 과정은 합성곱 쪽에 있습니다. 풀링도 같은 식을 쓰고, 특징 맵 수는 바꾸지 않습니다. AlexNet 을 손으로 따라가 봅니다(위 실험의 처음 값).
| 층 | 논문의 값 | 계산 | 출력 | 파라미터 수 |
|---|---|---|---|---|
| 입력 | 227 × 227 × 3 | 0 | ||
| conv1 | 11 × 11, 96 개, 스트라이드 4 | (227 − 11 + 0) ÷ 4 + 1 = 55 | 55 × 55 × 96 | 34,944 |
| pool1 | 3 × 3, 스트라이드 2 | (55 − 3) ÷ 2 + 1 = 27 | 27 × 27 × 96 | 0 |
| conv2 | 5 × 5, 256 개 | (27 − 5 + 4) ÷ 1 + 1 = 27 | 27 × 27 × 256 | 614,656 |
| pool2 | 3 × 3, 스트라이드 2 | (27 − 3) ÷ 2 + 1 = 13 | 13 × 13 × 256 | 0 |
| conv3 | 3 × 3, 384 개 | (13 − 3 + 2) ÷ 1 + 1 = 13 | 13 × 13 × 384 | 885,120 |
| conv4 | 3 × 3, 384 개 | 같은 계산 | 13 × 13 × 384 | 1,327,488 |
| conv5 | 3 × 3, 256 개 | 같은 계산 | 13 × 13 × 256 | 884,992 |
| pool3 | 3 × 3, 스트라이드 2 | (13 − 3) ÷ 2 + 1 = 6 | 6 × 6 × 256 | 0 |
| fc6 | 4096 | 펴면 6 × 6 × 256 = 9,216 | 4096 | 37,752,832 |
| fc7 | 4096 | 4096 | 16,781,312 | |
| fc8 | 1000 | 종류 1000 개 | 1000 | 4,097,000 |
| 합 | 62,378,344 |
논문은 224 라고 적었는데
AlexNet 논문 3.5절은 「224 × 224 × 3 입력을 11 × 11 × 3 필터 96 개, 스트라이드 4 로 거른다」고 적었습니다. 그런데 (224 − 11) ÷ 4 + 1 = 54.25 라 나누어떨어지지 않습니다. 227 이어야 55 가 됩니다. 논문은 패딩과 conv2 부터의 스트라이드도 적지 않았습니다. 대신 그림 2 에 층마다의 뉴런 수를 적었는데, 그중 186,624, 64,896, 43,264 는 27 × 27 × 256, 13 × 13 × 384, 13 × 13 × 256 과 맞습니다. 그래서 스트라이드 1 과 패딩 2·1 을 거꾸로 알아낼 수 있습니다. 첫 층의 수 253,440 은 55 × 55 × 96 = 290,400 과 맞지 않습니다.
나누어떨어지지 않으면 프레임워크는 보통 소수점 아래를 버립니다. PyTorch 의 합성곱과 최대 풀링의 출력 크기 식에는 내림(floor)이 들어 있고, 풀링은 ceil_mode=True 로 올림을 고를 수 있습니다. 그래서 224 를 넣어도 오류 없이 돌아가지만 크기가 조용히 달라집니다.
3. 파라미터 수 식이 만들어지는 과정
출력 크기 식은 합성곱 쪽에서 만들었으니, 여기서는 파라미터 수 식 (K·K·C_in + 1)·C_out 을 조립합니다. AlexNet 첫 층의 숫자(K = 11, C_in = 3, C_out = 96)를 씁니다.
- 필터 한 장의 칸:
K·K. 11 × 11 = 121. 칸마다 가중치 하나입니다. - 입력 채널만큼:
K·K·C_in. 121 × 3 = 363. 필터는 입력의 채널을 모두 한꺼번에 봅니다. 그래서 필터 하나가 채널 수만큼의 장으로 된 덩어리입니다. - 편향 하나:
K·K·C_in + 1. 363 + 1 = 364. 곱해 더한 값에 더하는 숫자(편향, bias)는 필터마다 하나입니다. - 필터 개수만큼:
(K·K·C_in + 1)·C_out. 364 × 96 = 34,944. 필터마다 숫자가 따로라서 개수를 곱합니다.
해 볼 것. 「다음」을 세 번 누르며 식 조각(주황 바탕)과 숫자 121 → 363 → 364 → 34,944 가 붙는 것을 보세요. 위 층 표의 conv1 파라미터 칸도 34,944 입니다. 층 표에서 입력 크기를 바꿔도 이 칸은 그대로입니다. 식에 입력 크기 N 이 없기 때문입니다.
4. 파라미터 수 세기
- 합성곱:
(K·K·C_in + 1)·C_out. C_in 은 앞 층의 특징 맵 수입니다. - 완전연결:
(받는 값의 수 + 1)·뉴런 수. 받는 값의 수는 앞 층을 한 줄로 편N·N·C입니다. fc6 은(9,216 + 1) × 4,096 = 37,752,832. - 풀링, ReLU, 드롭아웃: 0. 학습하는 숫자가 없습니다. AlexNet 의 LRN 에도 상수 넷이 있지만, 논문은 검증 자료로 골라 정했고 학습하지 않습니다.
AlexNet 논문은 파라미터가 6천만 개라고 적었습니다. 이 쪽의 62,378,344 와 다른 것은 논문이 망을 GPU 두 개에 나눠서입니다. conv2, conv4, conv5 의 필터는 같은 GPU 에 있는 앞 층의 절반만 봅니다. 논문이 conv2 의 필터를 5 × 5 × 96 이 아니라 5 × 5 × 48 로 적은 까닭입니다. C_in 을 48, 192, 192 로 넣어 세면 60,965,224 개로, 논문의 6천만과 맞습니다.
| 어떻게 셌나 | 합성곱 필터 수 | 파라미터 합계 |
|---|---|---|
| 이 쪽(한 덩어리, 입력 227) | 96, 256, 384, 384, 256 | 62,378,344 |
| 논문처럼 두 GPU 로 나눠서 | 96, 256, 384, 384, 256 | 60,965,224 |
| torchvision 의 AlexNet(8절) | 64, 192, 384, 256, 256 | 61,100,840 |
같은 식으로 VGG-16 의 13 개 합성곱 층과 3 개 완전연결 층을 세면 138,357,544 개입니다. VGG 논문 표 2 의 138M 과 맞습니다.
5. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 특징 맵 수 = 필터 개수 | 필터 하나가 한 장을 만든다. 그 수가 다음 층의 C_in 이 된다 | conv1 의 개수를 바꾸면 conv2 의 파라미터도 바뀐다 |
| 합성곱의 파라미터 수는 입력 크기와 상관없다 | K, C_in, C_out 만 들어간다. 같은 필터를 자리마다 다시 쓴다 | 입력을 224 로 바꿔도 conv1 은 34,944 |
| 완전연결 층은 입력 크기에 달렸고, 파라미터가 몰린다 | 앞 층을 편 수 N·N·C 가 식에 들어간다 | fc6 이 받는 값 9,216 → 6,400 |
| 나누어떨어지지 않으면 버린다 | 오류가 나지 않고 크기가 조용히 바뀐다 | 224 에서 ⚠ 넷 |
| 3 × 3, 스트라이드 1, 패딩 1 은 크기를 지킨다 | (N − 3 + 2) ÷ 1 + 1 = N. 크기는 풀링으로만 줄인다 | VGG 앞부분 |
6. 네 모델이 각각 더한 것
| 모델 | 더한 것 | 원 논문에서 확인한 숫자 |
|---|---|---|
| LeNet | 합성곱과 풀링(줄이기)을 번갈아 쌓고 끝에 완전연결 층을 두는 틀. 손글씨 숫자 읽기에 썼다 | 이 쪽에서는 원 논문을 확인하지 못해 숫자를 적지 않는다 |
| AlexNet | ReLU(모든 합성곱·완전연결 층 뒤), 드롭아웃(확률 0.5), 데이터 증강(잘라 내기와 좌우 뒤집기), 겹치는 풀링(3 × 3, 스트라이드 2), LRN(국소 응답 정규화), GPU 두 개에 나눠 학습 | 파라미터 6천만. 겹치는 풀링은 겹치지 않는 2 × 2 보다 오류율을 top-1 0.4%, top-5 0.3% 낮췄다 |
| VGG | 3 × 3 필터만 써서 깊게(16·19 층). 3 × 3 두 층은 5 × 5 를, 세 층은 7 × 7 을 본다. 그러면서 파라미터는 세 층이 27C², 7 × 7 한 층이 49C² 라 81% 적다. 층마다 ReLU 가 들어가 휘는 힘도 커진다 | VGG-16 은 138M. LRN 은 성능을 올리지 않았다 |
| ResNet | 지름길: 층 묶음의 출력에 입력을 그대로 더한다, y = F(x) + x(잔차 연결). 지름길은 파라미터를 더하지 않는다. 합성곱마다 배치 정규화 | 152 층까지. 34 층 망의 계산은 36억 번(곱하고 더하기)으로 VGG-19(196억 번)의 18% |
표에서 보듯 AlexNet 은 여러 기법을 처음 한데 모은 망이고, VGG 는 그것을 「작은 필터를 깊게」로 단순하게 만들었고, ResNet 은 깊게 쌓을 때 학습이 안 되는 문제를 지름길로 풀었습니다. ResNet 의 첫 층은 7 × 7, 64 개, 스트라이드 2 이고 출력이 112 × 112 입니다(논문 표 1).
7. 1×1 합성곱과 그것으로 만든 블록
1×1 합성곱은 필터 크기 K 가 1 인 합성곱입니다. 가로·세로로 이웃 칸을 보지 않고, 한 자리에 쌓인 채널 값들에만 가중치를 곱해 더합니다. 그래서 가로·세로는 그대로 두고 채널 수만 바꿉니다. 아래의 인셉션 모듈과 병목 블록은 이것으로 채널을 먼저 줄여, 비싼 3 × 3·5 × 5 합성곱의 파라미터를 아낍니다.
주황은 고른 자리와 그 기둥, 초록은 출력 채널 1, 파랑은 출력 채널 2 입니다. 화살표 옆의 「×숫자」가 곱하는 가중치입니다. 입력 값과 가중치는 지어낸 것입니다.
한 자리에서 출력 채널 o 의 값은 이렇습니다.
y_o = w_o1·x_1 + w_o2·x_2 + … + w_oC·x_C + b_o
x_1 … x_C: 한 자리의 채널 값(기둥). C 는 입력 채널 수로, 실험에서 4.w_oc: 출력 채널 o 가 입력 채널 c 의 값에 곱하는 가중치.b_o: 출력 채널 o 의 편향.y_o: 그 자리의 출력 채널 o 의 값. o 는 1 부터 C′ 까지이고, 실험에서 C′ = 2.
파라미터 수는 3절의 식 (K·K·C_in + 1)·C_out 에 K = 1 을 넣은 것입니다. 실험의 C = 4, C′ = 2 로 3 × 3 과 나란히 셉니다.
| 필터 | 식 | 실험의 수 |
|---|---|---|
| 1 × 1 | (1·1·C + 1)·C′ | (4 + 1) × 2 = 10 |
| 3 × 3 | (3·3·C + 1)·C′ | (36 + 1) × 2 = 74 |
C,C′: 입력 채널 수, 출력 채널 수(필터 개수).1·1,3·3: 필터 한 장의 칸 수.+ 1: 필터마다 편향 하나.
편향을 빼면 1 × 1 은 C·C′, 3 × 3 은 9·C·C′ 라서 9 분의 1 입니다.
인셉션 모듈(GoogLeNet)
GoogLeNet 논문은 같은 입력에 1 × 1, 3 × 3, 5 × 5 합성곱과 3 × 3 최대 풀링을 나란히 걸고, 가지들의 출력을 채널 방향으로 이어 붙여 출력 하나로 만듭니다. 이것이 인셉션 모듈입니다. 3 × 3 과 5 × 5 는 비싸서 그 앞에 1 × 1 을 두어 채널을 먼저 줄이고, 풀링 가지는 풀링 뒤에 1 × 1 사영을 둡니다(논문 그림 2 의 (b)). 줄이지 않으면 「5 × 5 가 몇 개만 있어도 감당하기 어렵게 비싸진다」고 논문은 적었습니다.
얼마나 줄어드는지 지어낸 작은 채널 수로 셉니다. 입력 채널 32 와 가지마다의 필터 수는 아래 표의 값이고 논문의 값이 아닙니다. 「32 → 16」은 받는 채널 32, 내는 채널 16 이라는 뜻입니다. 풀링 가지는 두 쪽을 같게 두어 3 × 3·5 × 5 앞의 줄임만 견줍니다. 식은 4절의 (K·K·C_in + 1)·C_out 입니다.
| 가지 | 1 × 1 로 먼저 줄이지 않음 | 1 × 1 로 먼저 줄임 |
|---|---|---|
| 1 × 1 | 1 × 1, 32 → 16: (1·1·32 + 1) × 16 = 528 | 같다: 528 |
| 3 × 3 | 3 × 3, 32 → 16: (3·3·32 + 1) × 16 = 4,624 | 1 × 1, 32 → 8: 264. 3 × 3, 8 → 16: (3·3·8 + 1) × 16 = 1,168. 합 1,432 |
| 5 × 5 | 5 × 5, 32 → 8: (5·5·32 + 1) × 8 = 6,408 | 1 × 1, 32 → 4: 132. 5 × 5, 4 → 8: (5·5·4 + 1) × 8 = 808. 합 940 |
| 풀링 | 3 × 3 최대 풀링(0) → 1 × 1, 32 → 8: 264 | 같다: 264 |
| 합 | 11,824 | 3,164 |
출력 채널은 두 쪽 모두 16 + 16 + 8 + 8 = 48 로 같은데, 파라미터는 3,164 ÷ 11,824 ≈ 27% 로 줄었습니다. 가장 크게 준 곳은 5 × 5 가지(6,408 → 940)입니다.
기본 블록과 병목 블록(ResNet)
ResNet 논문 그림 5 는 블록 두 가지를 나란히 보입니다. 왼쪽은 ResNet-34 의 기본 블록으로 3 × 3 두 층입니다. 오른쪽은 ResNet-50/101/152 의 병목 블록으로 1 × 1, 3 × 3, 1 × 1 세 층이고, 1 × 1 층들이 채널을 줄였다가 다시 늘립니다(되돌림). 그래서 가운데 3 × 3 은 줄어든 채널에서 돕니다. 두 블록 모두 지름길이 블록의 입력 x 를 출력에 더합니다(잔차 연결).
주황은 1 × 1, 초록은 3 × 3 합성곱입니다. 보라 점선 상자는 크기가 바뀌는 블록에서만 지름길에 두는 사영(1 × 1, 스트라이드 2)이고, 다른 블록은 x 를 그대로 더합니다(+).
가로·세로나 채널 수가 바뀌는 블록에서는 x 를 그대로 더할 수 없습니다. 논문은 두 방법을 적었습니다. (A) 늘어난 채널을 0 으로 채운 항등 지름길, (B) 1 × 1 합성곱으로 하는 사영 지름길. 두 크기의 특징 맵을 건널 때는 스트라이드 2 로 합니다. 자세한 것은 잔차 연결 쪽의 「차원이 다를 때」에 있습니다.
8. 코드에서 찍어 보기
import torchvision
from torchinfo import summary # pip install torchinfo
model = torchvision.models.alexnet() # 가중치 없이 구조만
print(model) # 층 목록: Conv2d(3, 64, kernel_size=(11, 11), stride=(4, 4), padding=(2, 2)) ...
summary(model, input_size=(1, 3, 224, 224)) # 층마다 Output Shape, Param #, 끝에 Total params
print(model) 은 층과 필터 크기·개수·스트라이드·패딩을 늘어놓고, torchinfo 의 summary 는 가짜 입력을 한 번 흘려 층마다의 출력 모양과 파라미터 수를 표로 보여 줍니다. 위 실험이 하는 일과 같습니다.
구현은 논문과 다를 수 있습니다. torchvision 의 AlexNet 은 문서에 적힌 대로 원 논문이 아니라 뒤에 나온 「One weird trick」 논문을 따릅니다. 필터 수가 64, 192, 384, 256, 256 이고, conv1 에 패딩 2 를 둘러 224 에서 55 를 만들고, LRN 과 GPU 나누기가 없습니다. 파라미터 수는 torchvision 이 적어 둔 61,100,840 개이고, 이 쪽의 식으로 세어도 같습니다. 그래서 「AlexNet 의 파라미터 수」는 어느 구현을 말하는지 같이 적어야 합니다.
9. 언제 무엇을 쓰나
지금 새로 짠다면 무엇을 고를까요? 이 네 모델 사이에서 고르는 기준입니다.
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| LeNet 모양의 작은 망(합성곱·풀링 두세 번 + 완전연결) | 파라미터가 적어 CPU 로도 금방 학습한다. 층 표를 손으로 셀 수 있다 | 큰 컬러 그림이나 종류가 많은 문제에는 모자란다 | 작은 흑백 그림, 연습, 계산이 작은 기기 |
| AlexNet | 학습하는 층이 8 개(합성곱 5, 완전연결 3)라 읽기 쉽다 | 큰 첫 필터(11 × 11, 스트라이드 4), LRN, GPU 나누기처럼 지금은 고르지 않는 선택이 섞였다. 파라미터의 대부분이 완전연결 층에 있다 | 공부용. 새 일의 출발점으로는 고르지 않는다 |
| VGG | 3 × 3 만 되풀이해 구조가 가장 단순하다 | 파라미터가 많고(VGG-16 은 138,357,544 개) 계산이 무겁다 | 구조를 설명하거나 처음 짜 볼 때 |
| ResNet | 지름길 덕분에 깊게 쌓아도 학습된다. VGG 보다 필터가 적고 계산이 적다(34 층 망이 VGG-19 의 18%). 학습된 가중치를 프레임워크에서 받을 수 있다 | 블록과 지름길 때문에 층 표가 길다. 크기가 바뀌는 곳의 지름길은 따로 맞춰야 한다 | 이 넷 가운데 고른다면 출발점. 학습된 것을 가져와 끝 층만 바꿔 다시 학습한다(전이 학습) |
어디에 쓰나
- 논문과 모델 문서의 숫자 검산. 층별 표의 크기와 파라미터 수를 식으로 다시 세어 보면, 빠진 패딩이나 구현의 차이가 드러납니다.
- 메모리 어림. 파라미터 하나를 32비트 실수(4 바이트)로 두면 AlexNet 은
62,378,344 × 4 = 249,513,376바이트, 약 250 MB 입니다. - 입력 크기를 바꿀 때. 합성곱 층은 그대로 쓸 수 있지만 완전연결 층이 받는 수가 바뀌어 맞지 않게 됩니다(224 에서 fc6 이 받는 값 6,400). torchvision 의 AlexNet 은 완전연결 층 앞에
AdaptiveAvgPool2d((6, 6))를 두어, 늘 6 × 6 을 넘깁니다. - 내 모델을 짤 때. 층을 쌓기 전에 크기가 어디서 나누어떨어지지 않는지, 파라미터가 어느 층에 몰리는지 먼저 셉니다.
자주 묻는 것
층별 표의 숫자는 어디서 알 수 있나요?
세 곳에서 옵니다. 필터 크기·개수·스트라이드·패딩은 논문이 정한 값이라 논문의 본문이나 표에서 찾습니다. 출력 크기와 파라미터 수는 그 값으로 계산한 결과입니다. 코드가 있으면 print(model) 이나 torchinfo 의 summary 로 층마다의 모양과 파라미터 수를 찍어 볼 수 있습니다. 다만 프레임워크의 구현은 논문과 다를 수 있습니다.
AlexNet 의 입력은 224 인가요, 227 인가요?
논문은 224 × 224 × 3 이라고 적었습니다. 그런데 필터 11, 스트라이드 4 로 계산하면 (224 − 11) ÷ 4 + 1 = 54.25 라 나누어떨어지지 않고, 227 이어야 55 가 됩니다. 그래서 해설에 따라 227 로 고쳐 쓰거나, torchvision 처럼 224 에 패딩 2 를 두르고 소수점 아래를 버려 55 를 맞춥니다.
파라미터가 많은 층이 계산도 많나요?
아닙니다. AlexNet 의 conv1 은 파라미터가 34,944 개뿐이지만, 출력 55 × 55 × 96 칸마다 363 번 곱해 더하므로 105,415,200 번을 계산합니다. fc6 은 파라미터가 37,752,832 개지만 곱하고 더하기는 9,216 × 4,096 = 37,748,736 번입니다. 합성곱은 같은 필터를 자리마다 다시 쓰기 때문에 파라미터는 적고 계산은 많습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 필터, 창 | 필터(filter), 커널(kernel) |
| 필터 크기 | 커널 크기(kernel size) |
| 한 번에 옮기는 칸 수 | 스트라이드(stride) |
| 가장자리에 0 두르기 | 패딩(padding), 제로 패딩(zero padding) |
| 특징 맵, 채널 | 특징 맵(feature map), 채널(channel) |
| 필터마다 마지막에 더하는 숫자 | 편향(bias) |
| 학습으로 정하는 숫자 | 파라미터(parameter), 가중치(weight) |
| 줄이기 | 풀링(pooling), 최대 풀링(max pooling), 하위 표본 추출(subsampling) |
| 모든 값을 잇는 층 | 완전연결 층(fully connected layer), dense 층, PyTorch 의 Linear |
| 한 줄로 펴기 | 평탄화(flatten) |
| 지름길 | 잔차 연결(residual connection), 지름길 연결(shortcut connection) |
| 국소 응답 정규화 | LRN(local response normalization) |
| 겹치는 풀링 | overlapping pooling |
| 곱하고 더하기 횟수 | multiply-adds, FLOPs(논문마다 세는 법이 조금씩 다르다) |
| 학습된 모델을 가져와 다시 학습 | 전이 학습(transfer learning), 미세 조정(fine-tuning) |
| 1×1 합성곱 | 1×1 합성곱(1×1 convolution), 점별 합성곱(pointwise convolution) |
| 채널 줄임, 되돌림 | 차원 축소(dimension reduction), 복원(restoring) |
| 채널 방향으로 이어 붙이기 | 연결(concatenation), concat |
| 병목 블록 | 병목(bottleneck) 블록 |
| 사영 지름길 | 사영 지름길(projection shortcut) |
출처
- Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, NeurIPS 2012. 3.5절(층 구성, 224 × 224 × 3, 필터 크기와 개수, 그림 2 의 뉴런 수), 3.1·3.3·3.4절(ReLU, LRN, 겹치는 풀링), 4절(6천만 파라미터, 자료 늘리기, 드롭아웃 0.5).
- Karen Simonyan, Andrew Zisserman, Very Deep Convolutional Networks for Large-Scale Image Recognition, arXiv:1409.1556. 2.1절(3 × 3, 걸음 1, 패딩 1, 2 × 2 풀링), 표 1·2(구성과 파라미터 수), 2.3절(27C² 와 49C²).
- Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition, arXiv:1512.03385. 식 (1) y = F(x) + x, 3.3·3.4절(계산량, 배치 정규화), 표 1, 그림 5(기본 블록과 병목 블록: 1×1, 3×3, 1×1 세 층, 1×1 이 줄였다가 되돌림), 차원이 늘 때의 지름길((A) 0 채우기 항등, (B) 1×1 합성곱 사영, 두 크기를 건널 때 걸음 2).
- Szegedy 외, Going deeper with convolutions, arXiv:1409.4842. 인셉션 모듈(1×1·3×3·5×5 합성곱과 나란한 풀링 길, 비싼 3×3·5×5 앞의 1×1 줄임, 풀링 뒤의 1×1 사영, 가지 출력의 이어 붙이기, 줄이지 않으면 5×5 몇 개로도 감당하기 어렵게 비싸진다), 그림 2 의 (a) 줄임 없는 꼴과 (b) 줄임이 있는 꼴.
- PyTorch: torchvision 의 AlexNet 코드(필터 수, 패딩, num_params), Conv2d·MaxPool2d 문서(출력 크기의 내림, ceil_mode), torchinfo.