CNN 구조 읽기: LeNet, AlexNet, VGG, ResNet

AlexNet 논문의 층별 표를 보면 11 × 11, 96, 55 × 55 같은 숫자가 줄지어 있습니다. 이 숫자들은 어디서 왔을까요? 일부는 논문이 정한 값이고, 나머지는 식으로 계산한 결과입니다. 층의 값을 바꿔 가며 크기와 파라미터 수가 어떻게 다시 계산되는지 보세요.

한 줄 답. 층별 표의 숫자는 세 곳에서 옵니다. ① 필터 크기·개수·스트라이드(stride, 필터를 옮기는 칸 수)·패딩은 논문이 정한 값입니다. ② 「출력 크기」 열은 (N − K + 2P) ÷ S + 1 로 계산한 결과이고, 파라미터 수도 (K·K·C_in + 1)·C_out 으로 셉니다. ③ 코드에서는 print(model) 이나 torchinfo 의 summary 로 찍어 보면 나옵니다. 다만 프레임워크의 구현은 논문과 다를 수 있습니다.

× 같은 크기 × 채널 3
층종류필터 K개수스트라이드 S패딩 P출력 크기파라미터 수

숫자 칸은 모두 고칠 수 있습니다. 출력 크기는 한 변 × 한 변 × 특징 맵 수 이고, 완전연결 층은 뉴런 수만 적습니다. 나누어떨어지지 않는 층은 주황 ⚠ 로 표시하고, 아래 설명 줄에 계산을 적습니다. ReLU, LRN, 드롭아웃은 크기와 파라미터 수를 바꾸지 않아 표에서 뺐습니다. AlexNet 은 논문의 두 GPU 나누기를 빼고 한 덩어리로 셉니다(4절).

해 볼 것. ① 처음(AlexNet, 입력 227)에는 크기가 55, 27, 27, 13, 13, 13, 13, 6 으로 줄고, 파라미터 합계는 62,378,344 개입니다. fc6 하나가 37,752,832 개로 절반이 넘습니다. ② 입력을 224 로 바꾸면 conv1 에 ⚠ 가 뜹니다. (224 − 11 + 2 × 0) ÷ 4 = 53.25 라 나누어떨어지지 않아 54 가 되고, pool1·pool2·pool3 에서도 ⚠ 가 이어져 마지막이 6 이 아니라 5 가 됩니다. fc6 이 받는 값이 9,216 에서 6,400 으로 줄어 합계가 50,844,008 개가 됩니다. conv1 의 34,944 는 그대로입니다. ③ 224 인 채로 conv1 의 패딩을 2 로 바꾸면 크기가 다시 55, 마지막이 6 이 됩니다. ⚠ 는 남습니다(54.25 를 버림). torchvision 의 AlexNet 이 이렇게 합니다. ④ 「VGG 앞부분」을 누르면 224, 224, 112, 112, 112, 56 입니다. 3 × 3, 스트라이드 1, 패딩 1 인 층은 크기를 그대로 두고 풀링만 반으로 줄입니다. 패딩을 0 으로 바꾸면 그 층에서 2 씩 줄어듭니다. ⑤ AlexNet 에서 conv1 의 개수 96 을 바꾸면 conv1 만이 아니라 conv2 의 파라미터 수도 바뀝니다. conv2 가 받는 채널 수가 96 이기 때문입니다.

1. 층별 표 읽는 법

합성곱 신경망(CNN)은 그림을 필터(작은 창)로 훑는 합성곱 층과, 크기를 줄이는 풀링 층을 번갈아 쌓고, 끝에 모든 값을 잇는 완전연결 층을 둔 신경망입니다. 논문은 이 층들을 표나 그림으로 적습니다. 표의 줄 하나가 층 하나입니다.

열뜻어디서 오나
종류합성곱, 최대 풀링, 완전연결논문
필터 크기 K한 번에 보는 창의 한 변. 11 이면 11 × 11 칸논문
개수필터가 몇 개인가. 곧 출력 특징 맵의 장 수논문
스트라이드 S창을 몇 칸씩 옮기나논문
패딩 P가장자리에 0 을 몇 줄 두르나논문. 적지 않은 논문도 있다
출력 크기한 변 × 한 변 × 특징 맵 수식으로 계산(2절)
파라미터 수학습으로 정하는 숫자의 개수식으로 계산(3·4절)

특징 맵 수 = 필터 개수. 필터 하나가 입력 전체를 훑으면 숫자 판 한 장이 나옵니다. 이 판이 특징 맵입니다. 그래서 「96 kernels」는 출력이 96 장이라는 뜻이고, 다음 층은 이 96 장을 채널 96 개로 받습니다. 처음 입력의 채널은 빨강·초록·파랑 셋입니다.

2. 크기 열은 식으로 계산한다

한 변이 N 인 입력에 필터 K, 스트라이드 S, 패딩 P 를 쓰면 출력의 한 변은 (N − K + 2P) ÷ S + 1 입니다. 이 식이 나오는 과정은 합성곱 쪽에 있습니다. 풀링도 같은 식을 쓰고, 특징 맵 수는 바꾸지 않습니다. AlexNet 을 손으로 따라가 봅니다(위 실험의 처음 값).

층논문의 값계산출력파라미터 수
입력227 × 227 × 30
conv111 × 11, 96 개, 스트라이드 4(227 − 11 + 0) ÷ 4 + 1 = 5555 × 55 × 9634,944
pool13 × 3, 스트라이드 2(55 − 3) ÷ 2 + 1 = 2727 × 27 × 960
conv25 × 5, 256 개(27 − 5 + 4) ÷ 1 + 1 = 2727 × 27 × 256614,656
pool23 × 3, 스트라이드 2(27 − 3) ÷ 2 + 1 = 1313 × 13 × 2560
conv33 × 3, 384 개(13 − 3 + 2) ÷ 1 + 1 = 1313 × 13 × 384885,120
conv43 × 3, 384 개같은 계산13 × 13 × 3841,327,488
conv53 × 3, 256 개같은 계산13 × 13 × 256884,992
pool33 × 3, 스트라이드 2(13 − 3) ÷ 2 + 1 = 66 × 6 × 2560
fc64096펴면 6 × 6 × 256 = 9,216409637,752,832
fc74096409616,781,312
fc81000종류 1000 개10004,097,000
합62,378,344

논문은 224 라고 적었는데

AlexNet 논문 3.5절은 「224 × 224 × 3 입력을 11 × 11 × 3 필터 96 개, 스트라이드 4 로 거른다」고 적었습니다. 그런데 (224 − 11) ÷ 4 + 1 = 54.25 라 나누어떨어지지 않습니다. 227 이어야 55 가 됩니다. 논문은 패딩과 conv2 부터의 스트라이드도 적지 않았습니다. 대신 그림 2 에 층마다의 뉴런 수를 적었는데, 그중 186,624, 64,896, 43,264 는 27 × 27 × 256, 13 × 13 × 384, 13 × 13 × 256 과 맞습니다. 그래서 스트라이드 1 과 패딩 2·1 을 거꾸로 알아낼 수 있습니다. 첫 층의 수 253,440 은 55 × 55 × 96 = 290,400 과 맞지 않습니다.

나누어떨어지지 않으면 프레임워크는 보통 소수점 아래를 버립니다. PyTorch 의 합성곱과 최대 풀링의 출력 크기 식에는 내림(floor)이 들어 있고, 풀링은 ceil_mode=True 로 올림을 고를 수 있습니다. 그래서 224 를 넣어도 오류 없이 돌아가지만 크기가 조용히 달라집니다.

3. 파라미터 수 식이 만들어지는 과정

출력 크기 식은 합성곱 쪽에서 만들었으니, 여기서는 파라미터 수 식 (K·K·C_in + 1)·C_out 을 조립합니다. AlexNet 첫 층의 숫자(K = 11, C_in = 3, C_out = 96)를 씁니다.

  1. 필터 한 장의 칸: K·K. 11 × 11 = 121. 칸마다 가중치 하나입니다.
  2. 입력 채널만큼: K·K·C_in. 121 × 3 = 363. 필터는 입력의 채널을 모두 한꺼번에 봅니다. 그래서 필터 하나가 채널 수만큼의 장으로 된 덩어리입니다.
  3. 편향 하나: K·K·C_in + 1. 363 + 1 = 364. 곱해 더한 값에 더하는 숫자(편향, bias)는 필터마다 하나입니다.
  4. 필터 개수만큼: (K·K·C_in + 1)·C_out. 364 × 96 = 34,944. 필터마다 숫자가 따로라서 개수를 곱합니다.

해 볼 것. 「다음」을 세 번 누르며 식 조각(주황 바탕)과 숫자 121 → 363 → 364 → 34,944 가 붙는 것을 보세요. 위 층 표의 conv1 파라미터 칸도 34,944 입니다. 층 표에서 입력 크기를 바꿔도 이 칸은 그대로입니다. 식에 입력 크기 N 이 없기 때문입니다.

4. 파라미터 수 세기

AlexNet 논문은 파라미터가 6천만 개라고 적었습니다. 이 쪽의 62,378,344 와 다른 것은 논문이 망을 GPU 두 개에 나눠서입니다. conv2, conv4, conv5 의 필터는 같은 GPU 에 있는 앞 층의 절반만 봅니다. 논문이 conv2 의 필터를 5 × 5 × 96 이 아니라 5 × 5 × 48 로 적은 까닭입니다. C_in 을 48, 192, 192 로 넣어 세면 60,965,224 개로, 논문의 6천만과 맞습니다.

어떻게 셌나합성곱 필터 수파라미터 합계
이 쪽(한 덩어리, 입력 227)96, 256, 384, 384, 25662,378,344
논문처럼 두 GPU 로 나눠서96, 256, 384, 384, 25660,965,224
torchvision 의 AlexNet(8절)64, 192, 384, 256, 25661,100,840

같은 식으로 VGG-16 의 13 개 합성곱 층과 3 개 완전연결 층을 세면 138,357,544 개입니다. VGG 논문 표 2 의 138M 과 맞습니다.

5. 꼭 알아야 할 성질

성질쉬운 말실험에서
특징 맵 수 = 필터 개수필터 하나가 한 장을 만든다. 그 수가 다음 층의 C_in 이 된다conv1 의 개수를 바꾸면 conv2 의 파라미터도 바뀐다
합성곱의 파라미터 수는 입력 크기와 상관없다K, C_in, C_out 만 들어간다. 같은 필터를 자리마다 다시 쓴다입력을 224 로 바꿔도 conv1 은 34,944
완전연결 층은 입력 크기에 달렸고, 파라미터가 몰린다앞 층을 편 수 N·N·C 가 식에 들어간다fc6 이 받는 값 9,216 → 6,400
나누어떨어지지 않으면 버린다오류가 나지 않고 크기가 조용히 바뀐다224 에서 ⚠ 넷
3 × 3, 스트라이드 1, 패딩 1 은 크기를 지킨다(N − 3 + 2) ÷ 1 + 1 = N. 크기는 풀링으로만 줄인다VGG 앞부분

6. 네 모델이 각각 더한 것

모델더한 것원 논문에서 확인한 숫자
LeNet합성곱과 풀링(줄이기)을 번갈아 쌓고 끝에 완전연결 층을 두는 틀. 손글씨 숫자 읽기에 썼다이 쪽에서는 원 논문을 확인하지 못해 숫자를 적지 않는다
AlexNetReLU(모든 합성곱·완전연결 층 뒤), 드롭아웃(확률 0.5), 데이터 증강(잘라 내기와 좌우 뒤집기), 겹치는 풀링(3 × 3, 스트라이드 2), LRN(국소 응답 정규화), GPU 두 개에 나눠 학습파라미터 6천만. 겹치는 풀링은 겹치지 않는 2 × 2 보다 오류율을 top-1 0.4%, top-5 0.3% 낮췄다
VGG3 × 3 필터만 써서 깊게(16·19 층). 3 × 3 두 층은 5 × 5 를, 세 층은 7 × 7 을 본다. 그러면서 파라미터는 세 층이 27C², 7 × 7 한 층이 49C² 라 81% 적다. 층마다 ReLU 가 들어가 휘는 힘도 커진다VGG-16 은 138M. LRN 은 성능을 올리지 않았다
ResNet지름길: 층 묶음의 출력에 입력을 그대로 더한다, y = F(x) + x(잔차 연결). 지름길은 파라미터를 더하지 않는다. 합성곱마다 배치 정규화152 층까지. 34 층 망의 계산은 36억 번(곱하고 더하기)으로 VGG-19(196억 번)의 18%

표에서 보듯 AlexNet 은 여러 기법을 처음 한데 모은 망이고, VGG 는 그것을 「작은 필터를 깊게」로 단순하게 만들었고, ResNet 은 깊게 쌓을 때 학습이 안 되는 문제를 지름길로 풀었습니다. ResNet 의 첫 층은 7 × 7, 64 개, 스트라이드 2 이고 출력이 112 × 112 입니다(논문 표 1).

네 모델의 층을 위에서 아래로 쌓은 그림. 초록은 합성곱(필터 크기, 필터 수), 주황은 풀링, 파랑은 완전연결, 보라는 지름길이 든 잔차 블록이고 「×2」 는 같은 층을 두 번 쌓는다는 뜻이다. LeNet 은 합성곱과 풀링을 번갈아 두 번, AlexNet 은 합성곱 다섯에 완전연결 셋, VGG-16 은 3 × 3 합성곱만 열셋, ResNet-18 은 잔차 블록 여덟에 완전연결은 하나뿐이다. LeNet-5 의 숫자는 흔히 알려진 구성이고, 위 표에 적은 대로 원 논문으로 확인하지 못했다.

7. 1×1 합성곱과 그것으로 만든 블록

1×1 합성곱은 필터 크기 K 가 1 인 합성곱입니다. 가로·세로로 이웃 칸을 보지 않고, 한 자리에 쌓인 채널 값들에만 가중치를 곱해 더합니다. 그래서 가로·세로는 그대로 두고 채널 수만 바꿉니다. 아래의 인셉션 모듈과 병목 블록은 이것으로 채널을 먼저 줄여, 비싼 3 × 3·5 × 5 합성곱의 파라미터를 아낍니다.

주황은 고른 자리와 그 기둥, 초록은 출력 채널 1, 파랑은 출력 채널 2 입니다. 화살표 옆의 「×숫자」가 곱하는 가중치입니다. 입력 값과 가중치는 지어낸 것입니다.

한 자리에서 출력 채널 o 의 값은 이렇습니다.

y_o = w_o1·x_1 + w_o2·x_2 + … + w_oC·x_C + b_o

파라미터 수는 3절의 식 (K·K·C_in + 1)·C_out 에 K = 1 을 넣은 것입니다. 실험의 C = 4, C′ = 2 로 3 × 3 과 나란히 셉니다.

필터식실험의 수
1 × 1(1·1·C + 1)·C′(4 + 1) × 2 = 10
3 × 3(3·3·C + 1)·C′(36 + 1) × 2 = 74

편향을 빼면 1 × 1 은 C·C′, 3 × 3 은 9·C·C′ 라서 9 분의 1 입니다.

인셉션 모듈(GoogLeNet)

GoogLeNet 논문은 같은 입력에 1 × 1, 3 × 3, 5 × 5 합성곱과 3 × 3 최대 풀링을 나란히 걸고, 가지들의 출력을 채널 방향으로 이어 붙여 출력 하나로 만듭니다. 이것이 인셉션 모듈입니다. 3 × 3 과 5 × 5 는 비싸서 그 앞에 1 × 1 을 두어 채널을 먼저 줄이고, 풀링 가지는 풀링 뒤에 1 × 1 사영을 둡니다(논문 그림 2 의 (b)). 줄이지 않으면 「5 × 5 가 몇 개만 있어도 감당하기 어렵게 비싸진다」고 논문은 적었습니다.

입력 (앞 층의 출력) 1×11×1 줄임1×1 줄임 3×3최대 풀링 3×35×51×1 사영 채널 방향으로 이어 붙이기
인셉션 모듈(줄임이 있는 꼴). 같은 입력이 가지 넷으로 갈라졌다가 채널 방향으로 이어 붙는다. 주황 상자가 1 × 1 합성곱이다: 첫 가지의 1 × 1, 3 × 3·5 × 5 앞에서 채널을 줄이는 1 × 1, 풀링 뒤의 1 × 1 사영. 초록은 3 × 3·5 × 5 합성곱, 회색은 최대 풀링. 상자마다의 필터 수는 적지 않았다.

얼마나 줄어드는지 지어낸 작은 채널 수로 셉니다. 입력 채널 32 와 가지마다의 필터 수는 아래 표의 값이고 논문의 값이 아닙니다. 「32 → 16」은 받는 채널 32, 내는 채널 16 이라는 뜻입니다. 풀링 가지는 두 쪽을 같게 두어 3 × 3·5 × 5 앞의 줄임만 견줍니다. 식은 4절의 (K·K·C_in + 1)·C_out 입니다.

가지1 × 1 로 먼저 줄이지 않음1 × 1 로 먼저 줄임
1 × 11 × 1, 32 → 16: (1·1·32 + 1) × 16 = 528같다: 528
3 × 33 × 3, 32 → 16: (3·3·32 + 1) × 16 = 4,6241 × 1, 32 → 8: 264. 3 × 3, 8 → 16: (3·3·8 + 1) × 16 = 1,168. 합 1,432
5 × 55 × 5, 32 → 8: (5·5·32 + 1) × 8 = 6,4081 × 1, 32 → 4: 132. 5 × 5, 4 → 8: (5·5·4 + 1) × 8 = 808. 합 940
풀링3 × 3 최대 풀링(0) → 1 × 1, 32 → 8: 264같다: 264
합11,8243,164

출력 채널은 두 쪽 모두 16 + 16 + 8 + 8 = 48 로 같은데, 파라미터는 3,164 ÷ 11,824 ≈ 27% 로 줄었습니다. 가장 크게 준 곳은 5 × 5 가지(6,408 → 940)입니다.

기본 블록과 병목 블록(ResNet)

ResNet 논문 그림 5 는 블록 두 가지를 나란히 보입니다. 왼쪽은 ResNet-34 의 기본 블록으로 3 × 3 두 층입니다. 오른쪽은 ResNet-50/101/152 의 병목 블록으로 1 × 1, 3 × 3, 1 × 1 세 층이고, 1 × 1 층들이 채널을 줄였다가 다시 늘립니다(되돌림). 그래서 가운데 3 × 3 은 줄어든 채널에서 돕니다. 두 블록 모두 지름길이 블록의 입력 x 를 출력에 더합니다(잔차 연결).

x (채널 C) 3×3, C → C3×3, C → C 지름길 1×1스트라이드 2 + 출력
기본 블록(ResNet-34): 3 × 3 두 층.
x (채널 C) 1×1 줄임: C → c3×3, c → c1×1 되돌림: c → C 지름길 1×1스트라이드 2 + 출력
병목 블록(ResNet-50/101/152): 1 × 1 로 C 를 c 로 줄이고, 3 × 3 을 지나, 1 × 1 로 C 로 되돌린다. c 는 C 보다 작다.

주황은 1 × 1, 초록은 3 × 3 합성곱입니다. 보라 점선 상자는 크기가 바뀌는 블록에서만 지름길에 두는 사영(1 × 1, 스트라이드 2)이고, 다른 블록은 x 를 그대로 더합니다(+).

가로·세로나 채널 수가 바뀌는 블록에서는 x 를 그대로 더할 수 없습니다. 논문은 두 방법을 적었습니다. (A) 늘어난 채널을 0 으로 채운 항등 지름길, (B) 1 × 1 합성곱으로 하는 사영 지름길. 두 크기의 특징 맵을 건널 때는 스트라이드 2 로 합니다. 자세한 것은 잔차 연결 쪽의 「차원이 다를 때」에 있습니다.

8. 코드에서 찍어 보기

import torchvision
from torchinfo import summary                  # pip install torchinfo

model = torchvision.models.alexnet()           # 가중치 없이 구조만
print(model)                                   # 층 목록: Conv2d(3, 64, kernel_size=(11, 11), stride=(4, 4), padding=(2, 2)) ...
summary(model, input_size=(1, 3, 224, 224))    # 층마다 Output Shape, Param #, 끝에 Total params

print(model) 은 층과 필터 크기·개수·스트라이드·패딩을 늘어놓고, torchinfo 의 summary 는 가짜 입력을 한 번 흘려 층마다의 출력 모양과 파라미터 수를 표로 보여 줍니다. 위 실험이 하는 일과 같습니다.

구현은 논문과 다를 수 있습니다. torchvision 의 AlexNet 은 문서에 적힌 대로 원 논문이 아니라 뒤에 나온 「One weird trick」 논문을 따릅니다. 필터 수가 64, 192, 384, 256, 256 이고, conv1 에 패딩 2 를 둘러 224 에서 55 를 만들고, LRN 과 GPU 나누기가 없습니다. 파라미터 수는 torchvision 이 적어 둔 61,100,840 개이고, 이 쪽의 식으로 세어도 같습니다. 그래서 「AlexNet 의 파라미터 수」는 어느 구현을 말하는지 같이 적어야 합니다.

9. 언제 무엇을 쓰나

지금 새로 짠다면 무엇을 고를까요? 이 네 모델 사이에서 고르는 기준입니다.

선택지좋은 점나쁜 점쓰는 경우
LeNet 모양의 작은 망(합성곱·풀링 두세 번 + 완전연결)파라미터가 적어 CPU 로도 금방 학습한다. 층 표를 손으로 셀 수 있다큰 컬러 그림이나 종류가 많은 문제에는 모자란다작은 흑백 그림, 연습, 계산이 작은 기기
AlexNet학습하는 층이 8 개(합성곱 5, 완전연결 3)라 읽기 쉽다큰 첫 필터(11 × 11, 스트라이드 4), LRN, GPU 나누기처럼 지금은 고르지 않는 선택이 섞였다. 파라미터의 대부분이 완전연결 층에 있다공부용. 새 일의 출발점으로는 고르지 않는다
VGG3 × 3 만 되풀이해 구조가 가장 단순하다파라미터가 많고(VGG-16 은 138,357,544 개) 계산이 무겁다구조를 설명하거나 처음 짜 볼 때
ResNet지름길 덕분에 깊게 쌓아도 학습된다. VGG 보다 필터가 적고 계산이 적다(34 층 망이 VGG-19 의 18%). 학습된 가중치를 프레임워크에서 받을 수 있다블록과 지름길 때문에 층 표가 길다. 크기가 바뀌는 곳의 지름길은 따로 맞춰야 한다이 넷 가운데 고른다면 출발점. 학습된 것을 가져와 끝 층만 바꿔 다시 학습한다(전이 학습)

어디에 쓰나

자주 묻는 것

층별 표의 숫자는 어디서 알 수 있나요?

세 곳에서 옵니다. 필터 크기·개수·스트라이드·패딩은 논문이 정한 값이라 논문의 본문이나 표에서 찾습니다. 출력 크기와 파라미터 수는 그 값으로 계산한 결과입니다. 코드가 있으면 print(model) 이나 torchinfo 의 summary 로 층마다의 모양과 파라미터 수를 찍어 볼 수 있습니다. 다만 프레임워크의 구현은 논문과 다를 수 있습니다.

AlexNet 의 입력은 224 인가요, 227 인가요?

논문은 224 × 224 × 3 이라고 적었습니다. 그런데 필터 11, 스트라이드 4 로 계산하면 (224 − 11) ÷ 4 + 1 = 54.25 라 나누어떨어지지 않고, 227 이어야 55 가 됩니다. 그래서 해설에 따라 227 로 고쳐 쓰거나, torchvision 처럼 224 에 패딩 2 를 두르고 소수점 아래를 버려 55 를 맞춥니다.

파라미터가 많은 층이 계산도 많나요?

아닙니다. AlexNet 의 conv1 은 파라미터가 34,944 개뿐이지만, 출력 55 × 55 × 96 칸마다 363 번 곱해 더하므로 105,415,200 번을 계산합니다. fc6 은 파라미터가 37,752,832 개지만 곱하고 더하기는 9,216 × 4,096 = 37,748,736 번입니다. 합성곱은 같은 필터를 자리마다 다시 쓰기 때문에 파라미터는 적고 계산은 많습니다.

낱말

여기서 쓴 말책에서 부르는 말
필터, 창필터(filter), 커널(kernel)
필터 크기커널 크기(kernel size)
한 번에 옮기는 칸 수스트라이드(stride)
가장자리에 0 두르기패딩(padding), 제로 패딩(zero padding)
특징 맵, 채널특징 맵(feature map), 채널(channel)
필터마다 마지막에 더하는 숫자편향(bias)
학습으로 정하는 숫자파라미터(parameter), 가중치(weight)
줄이기풀링(pooling), 최대 풀링(max pooling), 하위 표본 추출(subsampling)
모든 값을 잇는 층완전연결 층(fully connected layer), dense 층, PyTorch 의 Linear
한 줄로 펴기평탄화(flatten)
지름길잔차 연결(residual connection), 지름길 연결(shortcut connection)
국소 응답 정규화LRN(local response normalization)
겹치는 풀링overlapping pooling
곱하고 더하기 횟수multiply-adds, FLOPs(논문마다 세는 법이 조금씩 다르다)
학습된 모델을 가져와 다시 학습전이 학습(transfer learning), 미세 조정(fine-tuning)
1×1 합성곱1×1 합성곱(1×1 convolution), 점별 합성곱(pointwise convolution)
채널 줄임, 되돌림차원 축소(dimension reduction), 복원(restoring)
채널 방향으로 이어 붙이기연결(concatenation), concat
병목 블록병목(bottleneck) 블록
사영 지름길사영 지름길(projection shortcut)

출처

← 풀링과 수용 영역배치 정규화와 레이어 정규화 →