풀링과 수용 영역: 창을 밀며 줄이기

합성곱 층을 지난 그림은 특징 맵(feature map)이라는 숫자 격자 여러 장입니다. 풀링은 이 격자 위에 작은 풀링 창(pooling window)을 놓고, 창 안의 숫자를 하나로 요약하며 격자를 줄입니다. 커널 크기와 스트라이드를 바꿔 출력이 어떻게 바뀌는지, 출력 한 칸이 입력의 어디를 보는지 직접 보세요.

한 줄 답. 풀링은 창 안의 값을 하나로 요약해 격자를 줄이는 층입니다. 가장 큰 값을 남기면 최대 풀링, 평균을 남기면 평균 풀링입니다. 커널 크기 K, 스트라이드 S 로 한 변 N 칸을 줄이면 ⌊(N − K) ÷ S⌋ + 1 칸이 남습니다. 층을 쌓을수록 출력 한 칸이 보는 입력의 넓이(수용 영역)가 r ← r + (K − 1) × j 로 커집니다.

입력 8 × 8. 초록이 진할수록 많은 창에 들어간 칸
출력. 칸에 올리거나 누르면 그 칸이 본 입력이 주황 테두리로

출력 칸에 마우스를 올리거나 누르면(키보드는 Tab) 그 칸이 본 입력 칸으로 주황 창 테두리가 미끄러져 가고, 창의 칸들에서 출력 칸으로 모이는 주황 화살표가 자랍니다. 최대 풀링이면 고른 칸의 선만 굵고 「가장 큼」 표가 붙습니다. 그림 아래 줄은 그 셈입니다(최대는 max(6, 4, 8, 4) = 8, 평균은 (6 + 4 + 8 + 4) ÷ 4 = 5.5 꼴, 주황 바탕이 결과). 창이 4 × 4 보다 크면 칸마다 선을 긋지 않고 셈도 앞의 네 값만 적습니다. 입력 칸의 초록은 그 칸이 창 몇 개에 들어가는지입니다. 진할수록 많이 겹칩니다. 줄을 그은 회색 칸은 어느 창에도 들어가지 않은 칸, 굵고 밑줄 그은 숫자는 최대 풀링이 고른 값입니다. 진짜 신경망의 특징 맵 대신 고정 씨앗으로 지어낸 0 ~ 9 숫자 한 장을 쓰는 작게 줄인 본보기입니다. 진짜 층에서는 채널마다 이 일을 따로 합니다.

1. 풀링이란: 창 안을 하나로 요약하기

합성곱 층을 지나면 그림 한 장이 특징 맵 여러 장(숫자 격자, 채널)이 됩니다. 칸 하나는 「여기에 이 무늬가 얼마나 세게 있나」입니다. 풀링은 이 격자 위에 작은 네모 풀링 창을 놓고, 창 안의 숫자 여럿을 숫자 하나로 요약합니다. 그다음 창을 스트라이드(stride)만큼 옮겨 또 요약합니다. 끝까지 가면 작은 격자가 남습니다.

해 볼 것. ① 처음(창 2, 스트라이드 2, 최대)은 출력이 4 × 4 이고 (1, 1) 은 8 입니다. 창이 겹치지도 비지도 않아 모든 칸이 같은 색입니다. ② 「평균」을 누르면 (1, 1) 이 (6 + 4 + 8 + 4) ÷ 4 = 5.5 가 됩니다. ③ 창 3, 스트라이드 2 로 바꾸면 출력이 3 × 3 이 되고 겹친 칸이 진해집니다. 가장 진한 칸은 창 4개에 들어가고, 8번째 줄과 8번째 칸의 15 칸은 버려집니다. (1, 1) 은 최대 8, 평균 44 ÷ 9 = 4.89 입니다. ④ 창 2, 스트라이드 3 이면 창 사이가 비어 28 칸이 버려집니다. ⑤ 창 8 은 전역 풀링입니다. 출력이 한 칸이고, 최대는 9, 평균은 255 ÷ 64 = 3.98 입니다.

2. 식이 만들어지는 과정

위 격자의 첫 줄 6, 4, 8, 6, 1, 5, 2, 6 만 떼어 한 줄로 봅니다. 가로와 세로는 같은 계산을 따로 하므로 한 줄로 충분합니다. 기호는 이렇습니다. N 은 입력 한 변의 칸 수, K 는 커널 크기, S 는 스트라이드, ⌊ ⌋ 는 소수점 아래를 버리는 내림입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림에 층이 생기고, 아래에 까닭이 나옵니다. 모두 최대 풀링입니다.

  1. 창 하나 밀기: N − K + 1. 창 3 칸을 한 칸씩 옮깁니다. 창의 왼쪽 끝은 1번째 칸부터 6번째 칸(오른쪽 끝이 8번째에 닿는 곳)까지 놓일 수 있어 8 − 3 + 1 = 6 칸이 나옵니다. 값은 8, 8, 8, 6, 5, 6 입니다.
  2. 스트라이드: ⌊(N − K) ÷ S⌋ + 1. 스트라이드 2 로 옮기면 왼쪽 끝이 1, 3, 5 번째에만 놓입니다. 첫 자리에서 더 갈 수 있는 거리 8 − 3 = 5 를 스트라이드 2 로 나누면 2.5 걸음인데, 창이 반만 걸칠 수는 없어 내려서 2 걸음, 첫 자리를 더해 3 칸(8, 8, 5)입니다. 까닭: 나누어떨어지지 않으면 끝이 남고, 8번째 칸(6)은 어느 창에도 들어가지 않아 버려집니다. 가장자리에 0 을 P 칸씩 덧대면(패딩, padding) N 자리에 N + 2P 를 넣습니다.
  3. 층 쌓기: r ← r + (K − 1) × j. 같은 풀링을 한 층 더 쌓으면 3 칸이 ⌊(3 − 3) ÷ 2⌋ + 1 = 1 칸(8)이 됩니다. 이 칸이 보는 입력의 넓이가 수용 영역 r 입니다. 층 1 의 칸은 입력 3 칸을 봅니다(r = 3). 층 2 의 창은 층 1 의 칸 3 개, 곧 2 칸을 더 봅니다. 그런데 층 1 에서 한 칸 옮기면 입력에서는 스트라이드만큼, 2 칸 옮겨 갑니다. 그래서 늘어나는 넓이는 (3 − 1) × 2 = 4, 합해서 r = 3 + 4 = 7 입니다. 입력의 1 ~ 7 번째 칸입니다.
  4. 완성: j ← j × S. j 는 「이 층에서 한 칸 옮기면 입력에서 몇 칸 옮기나」이고, 아래 층들의 스트라이드를 곱한 값입니다. 입력에서 출발해 r = 1, j = 1 → 층 1 r = 1 + 2 × 1 = 3, j = 2 → 층 2 r = 3 + 2 × 2 = 7, j = 4. 같은 층을 하나 더 쌓으면 r = 7 + 2 × 4 = 15 입니다. 스트라이드가 곱해져 커지므로 수용 영역은 층마다 점점 크게 자랍니다.

스트라이드 1 인 층만 쌓으면 j 가 1 에 머물러 r 이 층마다 K − 1 씩만 늡니다. 3 × 3 합성곱 두 층은 r = 1 + 2 + 2 = 5 라서 5 × 5 합성곱 한 층과 같은 넓이를 봅니다. 두 식은 합성곱 층에도 그대로 씁니다. 창이 값을 요약하는 방법만 다를 뿐 창이 놓이는 자리는 같기 때문입니다.

3. 손으로 풀어 보기

격자의 왼쪽 위 4 × 4 를 창 2, 스트라이드 2 로 줄입니다. 실험의 처음 설정과 같은 숫자입니다.

1234
16486
28428
36604
42017
  1. 출력 크기. ⌊(4 − 2) ÷ 2⌋ + 1 = 2, 곧 2 × 2 입니다. 창 네 개가 겹치지 않고 꼭 맞습니다.
  2. 왼쪽 위 창(1 ~ 2 줄, 1 ~ 2 칸): 6, 4, 8, 4. 최대 8, 평균 22 ÷ 4 = 5.5.
  3. 오른쪽 위 창(1 ~ 2 줄, 3 ~ 4 칸): 8, 6, 2, 8. 최대 8, 평균 24 ÷ 4 = 6.
  4. 왼쪽 아래 창(3 ~ 4 줄, 1 ~ 2 칸): 6, 6, 2, 0. 최대 6, 평균 14 ÷ 4 = 3.5.
  5. 오른쪽 아래 창(3 ~ 4 줄, 3 ~ 4 칸): 0, 4, 1, 7. 최대 7, 평균 12 ÷ 4 = 3.

16 칸이 4 칸이 됐습니다. 최대 풀링의 결과는 [8, 8; 6, 7], 평균 풀링은 [5.5, 6; 3.5, 3] 이고, 실험의 출력 왼쪽 위 2 × 2 와 같습니다. 오른쪽 아래 창의 7 이 창 안 다른 자리에 있었어도 최대 풀링의 결과는 7 그대로입니다.

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
배우는 숫자가 없다계산 방식이 정해져 있다. K 와 S 는 사람이 고르는 하이퍼파라미터(hyperparameter)다단추와 목록만 있다
채널마다 따로 한다채널 수는 그대로, 가로·세로만 줄어든다격자 한 장이 한 장으로
크기가 스트라이드만큼 준다한 변이 대략 S 분의 1. 2 × 2, 스트라이드 2 면 칸 수가 4 분의 1처음 8 × 8 → 4 × 4
나누어떨어지지 않으면 끝이 버려진다식의 내림 때문. 패딩으로 살릴 수 있다창 3, 스트라이드 2 의 15 칸
창 안에서 옮겨도 최댓값은 그대로가장 큰 값이 창 안 어디에 있든 결과가 같다. 작은 위치 차이에 덜 민감해진다3절의 오른쪽 아래 창
층을 쌓을수록 수용 영역이 커진다스트라이드가 곱해져 출력 한 칸이 보는 넓이가 빨리 커진다2절의 r = 1 → 3 → 7

5. 겹치는 풀링: 창 3, 스트라이드 2

창이 스트라이드보다 크면(K > S) 이웃 창이 겹칩니다. 경계에 있는 칸이 두 창에 들어가 양쪽 출력에 모두 쓰입니다(실험의 진한 칸). AlexNet 논문(출처)은 창 3, 스트라이드 2 를 신경망 전체에 썼습니다. 논문은 같은 크기의 출력을 내는 창 2, 스트라이드 2 와 비교해 top-1 오류율(첫째 답이 틀린 비율)이 0.4%, top-5 오류율(다섯 답 안에 정답이 없는 비율)이 0.3% 줄었고, 학습하면서 보니 겹치는 쪽이 과적합하기가 조금 더 어려웠다고 적었습니다. 이 숫자는 그 논문의 신경망 하나에서 잰 것입니다.

두 방식의 출력 크기가 같은 것은 N 이 홀수일 때입니다. 식에 넣으면 N 이 홀수면 ⌊(N − 3) ÷ 2⌋ + 1 과 ⌊(N − 2) ÷ 2⌋ + 1 이 같고, 짝수면 겹치는 쪽이 한 칸 작습니다. 실험의 8 × 8 에서는 3 과 4 입니다. 창이 9 칸이라 4 칸인 창 2 보다 계산도 조금 늘어납니다.

6. 전역 평균 풀링: 채널 한 장을 숫자 하나로

창을 격자 전체로 키우면 채널 한 장이 숫자 하나가 됩니다(실험에서 창 8). 채널이 C 장이면 길이 C 의 목록이 나옵니다. 그림의 크기가 달라도 길이는 C 그대로라, 뒤에 붙는 분류 층이 늘 같은 모양의 입력을 받습니다. Network In Network 논문(출처)은 분류하는 층에서 완전 연결 층 대신 특징 맵마다 평균을 내는 이 방식을 썼고, 완전 연결 층보다 해석하기 쉽고 과적합에 덜 빠진다고 적었습니다. 평균에는 배우는 숫자가 없습니다. 대신 위치 정보는 모두 사라집니다. 무엇이 있는지는 남고 어디 있는지는 남지 않습니다.

7. 스트라이드 합성곱으로 대신하기

크기를 줄이는 데 꼭 풀링을 쓸 필요는 없습니다. 합성곱을 스트라이드 2 로 하면 출력 크기가 같은 식 ⌊(N − K) ÷ S⌋ + 1 로 줄어듭니다. 차이는 창 안의 값을 합치는 방법입니다. 풀링은 「가장 큰 것」이나 「평균」으로 정해져 있고, 합성곱은 가중치를 곱해 더하는데 그 가중치를 학습합니다. 평균 풀링은 가중치가 모두 1 ÷ K² 로 고정되고 채널마다 따로 하는 합성곱과 같은 계산입니다. All Convolutional Net 논문(출처)은 최대 풀링을 스트라이드를 키운 합성곱 층으로 바꿔도 여러 그림 인식 시험에서 정확도가 떨어지지 않았다고 보고했습니다.

8. 옛 방식: 국소 응답 정규화(LRN)

AlexNet 에는 지금은 거의 보이지 않는 층이 하나 더 있습니다. 국소 응답 정규화(LRN)는 같은 자리의 이웃 채널끼리 값을 눌러 줍니다. 이웃 채널 n 개의 값을 제곱해 더하고, 그 합이 클수록 내 값을 크게 나눕니다.

b_i = a_i ÷ (k + α × (이웃 채널 n 개의 a² 합))^β
      a_i: 같은 자리 (x, y) 에서 i 번째 채널의 값(ReLU 를 지난 뒤)
      이웃: i 를 가운데로 한 채널 n 개(채널 번호의 끝에서는 있는 것까지만)

논문은 검증 자료로 k = 2, n = 5, α = 10⁻⁴, β = 0.75 를 골랐고, 첫째와 둘째 합성곱 층 뒤에 두었습니다. 진짜 신경세포의 측면 억제에서 생각을 빌려, 서로 다른 커널이 낸 큰 값끼리 경쟁하게 한다고 설명합니다. 평균을 빼지 않으니 「밝기 정규화」라고 부르는 편이 더 맞다고도 적었습니다. 효과로는 top-1, top-5 오류율이 1.4%, 1.2% 줄었고, CIFAR-10 자료의 4층 합성곱 신경망에서 시험 오류율이 13% 에서 11% 로 줄었다고 적었습니다.

그 뒤의 신경망에서는 LRN 을 거의 쓰지 않고, 층 사이에서 값의 눈금을 맞추는 일은 보통 배치 정규화가 맡습니다. 둘은 같은 계산이 아닙니다. LRN 은 같은 자리의 이웃 채널 몇 개로 나누기만 하고 배우는 숫자가 없습니다. 배치 정규화는 묶음의 평균을 빼고 표준편차로 나눈 뒤, 배우는 숫자 γ, β 로 다시 늘이고 옮깁니다(정규화).

9. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
최대 풀링가장 센 반응을 남긴다. 창 안의 작은 위치 차이에 덜 민감하다. 배우는 숫자가 없다나머지 값과 창 안의 자리를 버린다합성곱 층 사이에서 크기를 줄일 때. AlexNet 논문은 창과 스트라이드가 같은 것(예: 창 2, 스트라이드 2)을 전통적인 방식으로 적었다
평균 풀링창 안의 값을 모두 고르게 반영한다. 배우는 숫자가 없다센 반응이 약한 값들에 묻혀 흐려진다창 안을 고르게 요약하고 싶을 때. 아래의 전역 평균으로 많이 쓴다
전역 평균 풀링채널 한 장을 숫자 하나로. 그림 크기와 상관없이 같은 길이. 배우는 숫자가 없다위치 정보가 모두 사라진다분류 신경망의 끝에서 완전 연결 층 대신
스트라이드 합성곱줄이는 방법까지 학습한다. 채널도 섞을 수 있다가중치와 계산이 늘어난다풀링 없이 합성곱만으로 짤 때
겹치는 풀링(창 3, 스트라이드 2)경계의 칸이 양쪽 창에 들어간다. AlexNet 에서 오류율이 조금 줄었다창 2 보다 계산이 조금 많다. 효과는 한 신경망에서 잰 작은 차이다AlexNet 처럼 짠 신경망을 따라 만들 때

어디에 쓰나

자주 묻는 것

풀링에도 배우는 숫자가 있나요?

없습니다. 최대 풀링과 평균 풀링은 정해진 계산이고, 커널 크기와 스트라이드는 사람이 고르는 하이퍼파라미터입니다. 학습할 때 최대 풀링은 창에서 가장 컸던 칸으로만 기울기(그래디언트)를 돌려보내고, 평균 풀링은 창 안의 모든 칸에 똑같이 나눠 보냅니다. 줄이는 방법까지 배우게 하려면 스트라이드 합성곱을 씁니다.

풀링 대신 스트라이드 합성곱을 써도 되나요?

됩니다. All Convolutional Net 논문은 최대 풀링을 스트라이드를 키운 합성곱 층으로 바꿔도 여러 그림 인식 시험에서 정확도가 떨어지지 않았다고 보고했습니다. 합성곱은 줄이는 방법까지 배우지만, 그만큼 가중치와 계산이 늘어납니다.

수용 영역 안의 칸은 모두 똑같이 쓰이나요?

아닙니다. 수용 영역은 출력 한 칸이 볼 수 있는 범위일 뿐입니다. 2절 실험의 ③ 에서 입력의 3번째와 5번째 칸은 층 1 의 창 두 개에 들어가 맨 위 칸까지 가는 길이 둘이고, 나머지 칸은 길이 하나입니다. 최대 풀링이라면 창마다 실제로 값을 넘기는 칸은 하나뿐입니다.

낱말

여기서 쓴 말책에서 부르는 말
창 안을 하나로 요약해 줄이기풀링(pooling), 다운샘플링(downsampling)
가장 큰 값 남기기, 평균 남기기최대 풀링(max pooling), 평균 풀링(average pooling)
창, 창 크기 K풀링 창(pooling window), 커널 크기(kernel size)
한 번에 옮기는 칸 수 S스트라이드(stride)
가장자리 덧대기 P패딩(padding)
숫자 격자 한 장특징 맵(feature map), 채널(channel)
창이 겹치는 풀링겹치는 풀링, 오버래핑 풀링(overlapping pooling)
채널 한 장 전체의 평균전역 평균 풀링(global average pooling, GAP)
칸을 건너뛰며 하는 합성곱스트라이드 합성곱(strided convolution)
출력 한 칸이 보는 입력의 넓이 r수용 영역, 수용장(receptive field)
아래 층 스트라이드의 곱 j누적 스트라이드(effective stride), 점프(jump)
소수점 아래 버리기 ⌊ ⌋내림, 바닥 함수(floor)
이웃 채널끼리 눌러 주기국소 응답 정규화(local response normalization, LRN)
이웃끼리 경쟁해 약한 쪽을 누름측면 억제(lateral inhibition)
모든 입력을 이어 받는 층완전 연결 층(fully connected layer)

출처

← 합성곱과 CNNCNN 구조 읽기 →