잔차 연결(ResNet): 스킵 연결로 기울기를 살린다

층을 더 쌓으면 더 잘 배울 것 같지만, 스킵 연결(skip connection) 없이 깊게 쌓은 망은 오히려 훈련 오차부터 커졌습니다. 층마다 입력을 그대로 더해 주는 스킵 연결 하나로 기울기(그래디언트)가 어떻게 앞쪽 층까지 닿는지 막대로 보고, ∂y/∂x = 1 + ∂F/∂x 를 숫자로 따라갑니다.

한 줄 답. 잔차 연결은 층의 출력에 입력을 그대로 더하는 스킵 연결입니다: y = x + F(x). 층(F)은 입력을 통째로 새로 만드는 대신 「얼마나 바꿀지」만 배웁니다. 미분하면 ∂y/∂x = 1 + ∂F/∂x 라서, 층을 많이 쌓아도 기울기가 스킵 연결의 1 을 타고 줄지 않은 채 앞쪽 층까지 닿습니다. 아주 깊은 합성곱 망(ResNet)도, 트랜스포머도 이 스킵 연결을 층마다 씁니다.

막대 하나는 그 층의 입력까지 거꾸로 흘러온 기울기의 크기입니다. 출력 쪽 기울기를 1 로 둡니다. 세로는 로그 눈금이라 1, 10⁻⁵, 10⁻¹⁰ 처럼 자릿수로 읽습니다. 작게 줄인 본보기입니다. 값이 하나뿐이고 모든 층의 F 가 기울기 0.1 로 같습니다. 진짜 망에서는 층마다 기울기가 다르고, 값이 벡터라서 숫자 대신 행렬(야코비 행렬)이 곱해집니다.

해 볼 것. ① 처음(10층, 스킵 연결 없음)에는 1층까지 닿은 기울기가 1 × 10⁻¹⁰ 입니다. 층이 하나 늘 때마다 막대가 한 자리씩 내려갑니다. ② 「스킵 연결 있음」을 누르면 같은 10층에서 2.594 입니다. ③ 층 수를 20 으로 올리면 스킵 연결 없음은 1 × 10⁻²⁰, 있음은 6.727 입니다. 스킵 연결이 있어도 1 에 딱 머물지는 않고 조금씩 커집니다. ④ 1층으로 내리면 0.1 과 1.1, 곧 층 하나의 기울기 그대로입니다.

1. 잔차 연결이란: 입력을 그대로 더하는 스킵 연결

신경망의 층은 입력 x 를 받아 새 값을 냅니다. 평범한 망에서는 층 몇 개가 낸 값 F(x) 가 곧 다음의 입력입니다. 잔차 연결을 둔 망은 층 몇 개를 블록 하나로 묶고, 블록의 출력에 들어온 x 를 그대로 더합니다.

평범한 블록:   y = F(x)
잔차 블록:     y = x + F(x)      x 는 스킵 연결로, F(x) 는 층들을 지나서 온다

x 를 그대로 보내는 길을 스킵 연결이라고 부릅니다. 가중치(weight)도 없고 계산은 더하기 하나입니다. F 는 「원하는 출력 − x」, 곧 남은 차이만 배우면 됩니다. 이 차이를 잔차(residual)라고 해서 잔차 연결입니다. 블록이 아무것도 하지 말아야 할 때(출력 = 입력)는 F 가 0 이면 됩니다. 평범한 블록으로 같은 일을 하려면 가중치들이 정확히 「그대로 통과」를 만들어 내야 합니다. 원 논문의 생각은, 0 에 가깝게 만드는 쪽이 이것보다 배우기 쉽다는 것입니다.

왼쪽은 층을 그대로 쌓은 블록, 오른쪽은 ResNet 의 잔차 블록. 층은 둘 다 같다. 다른 것은 보라 점선 하나로, 입력 x 가 층들을 건너뛰어 마지막 ReLU 바로 앞에서 더해진다. 그래서 층들은 출력 전체가 아니라 입력에서 달라질 만큼 F(x) 만 만들면 된다.

2. 깊으면 오히려 못 배우던 문제

층을 더 쌓으면 나타낼 수 있는 것은 늘어납니다. 얕은 망 위에 「그대로 통과」하는 층들을 덧붙이면 깊은 망이 되고, 결과는 얕은 망과 같습니다. 그러니 깊은 망이 얕은 망보다 나쁠 까닭이 없습니다. 그런데 ResNet 논문은 스킵 연결 없이 층을 더 쌓은 망이 훈련 오차부터 더 높아지는 것을 보였습니다. 시험 오차만 나쁜 과적합이 아니라 훈련 자료조차 덜 맞췄으니, 배우는 과정(최적화)이 좋은 가중치를 찾지 못한 것입니다. 논문은 이것을 성능 저하 문제라고 불렀습니다.

기울기 이야기는 여기에 겹칩니다. 역전파는 출력 쪽 기울기에 층마다의 기울기를 곱하며 입력 쪽으로 갑니다. 층마다 1 보다 작은 수가 곱해지면 앞쪽 층에 닿는 기울기가 0 에 가까워지고(기울기 소실), 앞쪽 층은 거의 배우지 못합니다. 위 실험의 「스킵 연결 없음」이 그 모습입니다. 다만 원 논문은 배치 정규화를 쓴 평범한 망에서는 기울기가 사라지지 않았다고 확인하고, 성능 저하의 원인을 기울기 소실로 보지 않았습니다. 스킵 연결이 기울기를 그대로 흘려보낸다는 설명은 같은 저자들의 다음 논문(출처 2)에 식으로 나옵니다. 다음 절이 그 식입니다.

3. 식이 만들어지는 과정

「다음」을 누르면 식에 조각이 붙고(주황 바탕이 이번에 붙은 조각), 막대가 그 단계의 숫자로 바뀌고, 아래에 까닭이 나옵니다. 위 실험과 같은 본보기(F(x) = 0.1·x)입니다.

  1. 블록 하나: y = x + F(x). x = 2 면 F(2) = 0.2, y = 2.2.
  2. 기울기: ∂y/∂x = 1 + ∂F/∂x. x 를 0.01 늘리면 y 는 0.011 늘어 비율이 1.1 입니다. 1 은 스킵 연결의 몫이라 F 가 무엇이든 남습니다.
  3. 쌓으면 곱: (1 + a)(1 + b)(1 + c). 연쇄 법칙으로 블록마다의 기울기를 곱합니다. 1.1³ = 1.331. 스킵 연결이 없으면 0.1³ = 0.001.
  4. 펼치면 1 이 남는다: 1 + (a + b + c) + (ab + bc + ca) + abc. 첫 항 1 은 F 를 하나도 지나지 않고 스킵 연결로만 온 길입니다. 블록 수와 상관없이 늘 1 입니다. 스킵 연결이 없는 망에는 마지막 항 abc 만 있습니다.

해 볼 것. ① 처음 막대는 x 2, F(x) 0.2, y 2.2 입니다. ② 다음 단계의 막대는 스킵 연결 1, F 0.1, 합 1.1 입니다. ③ 블록 1, 2, 3개의 기울기가 1.1, 1.21, 1.331 이고, 스킵 연결이 없으면 0.1, 0.01, 0.001 입니다. ④ 펼친 항이 1, 0.3, 0.03, 0.001 이고 합이 1.331 로 ③ 과 같습니다. 곱이 0 이 되려면 a, b, c 가운데 하나가 정확히 −1 이어야 합니다. 모든 ∂F/∂x 가 −0.1 이어도 10블록 뒤 기울기는 0.9¹⁰ = 0.3487 로 남습니다.

4. 손으로 따라가기: 블록 셋

x = 2 에서 시작해 블록 셋을 지납니다. 모든 F 는 F(x) = 0.1·x 입니다. 값은 앞으로(입력 → 출력), 기울기는 그 곱으로 셉니다.

지난 블록스킵 연결 있음: 값 x + 0.1·x기울기의 곱스킵 연결 없음: 값 0.1·x기울기의 곱
02121
12.21.10.20.1
22.421.210.020.01
32.6621.3310.0020.001

스킵 연결이 없으면 값도 기울기도 블록마다 10분의 1 이 됩니다. 스킵 연결이 있으면 둘 다 1.1 배씩 조금 커집니다. 이 본보기는 F 가 모두 같은 직선이라 값과 기울기가 같은 비율로 움직입니다. 진짜 망의 F 는 휘는 함수라 둘이 따로 움직입니다.

5. 꼭 알아야 할 성질

성질쉬운 말실험에서
기울기에 1 이 더해진다∂y/∂x = 1 + ∂F/∂x. 스킵 연결로 온 몫은 줄지 않는다3절 ② 단계
곱이 0 이 되기 어렵다펼친 곱에 늘 1 인 항이 있다. 0 이 되려면 어느 블록의 ∂F/∂x 가 정확히 −1 이어야 한다3절 ④ 단계
아무것도 안 하기가 쉽다F = 0 이면 y = x. 필요 없는 블록은 F 를 0 쪽으로 두면 된다1절
사라지지 않을 뿐, 늘 1 은 아니다1.1 을 20번 곱하면 6.727. 커질 수도 있다위 실험, 20층
더하려면 차원이 같아야 한다다르면 스킵 연결에 맞추는 장치(프로젝션)가 필요하다6절

6. 차원이 다를 때

더하기는 x 와 F(x) 의 모양이 같아야 합니다. 합성곱 망은 중간에 그림의 가로세로를 절반으로 줄이고 채널 수를 늘리곤 해서, 그 블록에서는 x 와 F(x) 의 모양이 다릅니다. 이때 쓰는 방법은 둘입니다.

그래서 보통은 차원이 바뀌는 몇 블록에서만 프로젝션을 쓰고, 나머지 블록은 그대로 더합니다. 트랜스포머는 처음부터 모든 층의 출력 크기를 같게 맞춰 늘 그대로 더할 수 있게 했습니다.

7. 트랜스포머에서도

트랜스포머의 층 하나는 어텐션과 작은 신경망(피드포워드) 둘이고, 둘 다 잔차 연결로 감쌉니다. 정규화를 어디에 두느냐에 따라 두 꼴이 있습니다.

# 원 논문의 꼴: 더한 뒤에 정규화(Post-LN)
x = LayerNorm(x + Attention(x))
x = LayerNorm(x + FeedForward(x))

# 다른 꼴: 정규화한 것을 F 에 넣고, 더하기는 정규화 밖에서(Pre-LN)
x = x + Attention(LayerNorm(x))
x = x + FeedForward(LayerNorm(x))

Pre-LN 에서는 x 가 정규화를 거치지 않고 더하기로만 맨 끝까지 이어집니다. 그래서 3절의 「스킵 연결로만 온 길」이 첫 층부터 마지막 층까지 통째로 남습니다. Post-LN 은 더할 때마다 레이어 정규화를 지나므로 그 길에도 정규화의 기울기가 곱해집니다. 두 꼴 모두 쓰입니다.

8. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
스킵 연결 없음 y = F(x)가장 단순하다. 더하기를 위해 x 를 들고 있을 필요가 없다깊어지면 배우기 어렵다. 기울기가 층마다 곱해져 사라지기 쉽다층이 몇 개 안 되는 작은 망
그대로 더하기 y = x + F(x)가중치가 없고 계산은 더하기 하나. 기울기에 1 이 더해진다x 와 F(x) 의 모양이 같아야 한다모양이 같은 블록 사이. 깊은 망의 대부분 블록
프로젝션 숏컷 y = F(x) + W_s·x모양이 달라도 더할 수 있다가중치와 계산이 늘고, 스킵 연결이 순수한 1 이 아니다채널 수나 가로세로가 바뀌는 블록
제로 패딩모양이 달라도 가중치가 늘지 않는다늘어난 채널에는 스킵 연결 정보가 없다가중치를 아끼고 싶을 때, 차원이 바뀌는 블록
이어 붙이기(DenseNet 식)앞의 값이 섞이지 않고 남는다층마다 차원이 늘어 메모리와 계산이 커진다앞 층의 특징을 그대로 다시 쓰고 싶을 때
트랜스포머 Pre-LN스킵 연결이 정규화를 거치지 않아 맨 끝까지 곧게 이어진다원 논문의 꼴과 달라, 옛 설정을 그대로 옮길 수 없다트랜스포머를 새로 짤 때 흔히 고르는 꼴
트랜스포머 Post-LN원 논문 그대로라 그 설정과 결과를 따라가기 쉽다스킵 연결도 층마다 정규화를 지난다원 논문의 꼴을 재현할 때

어디에 쓰나

자주 묻는 것

잔차 연결이 있으면 층을 얼마든지 쌓아도 되나요?

아닙니다. 기울기가 사라지는 길을 막아 줄 뿐입니다. 층마다 1 + ∂F/∂x 를 곱하므로 기울기가 오히려 커질 수 있고(이 쪽 실험에서 20층이면 6.727배), 층이 늘면 계산과 메모리도 늘어납니다. 실제 ResNet 은 블록 안에 배치 정규화를 함께 씁니다.

잔차 연결은 과적합을 막는 장치인가요?

아닙니다. 원 논문이 다룬 문제는 층을 쌓을수록 훈련 오차부터 높아지는 것, 곧 배우는 과정(최적화)의 문제입니다. 과적합은 훈련 오차는 낮은데 시험 오차가 높은 것이라 다른 문제입니다.

더하지 않고 이어 붙이면 안 되나요?

됩니다. DenseNet 처럼 앞 층의 출력을 이어 붙이는 망도 있습니다. 이어 붙이면 앞의 값이 섞이지 않고 남지만, 층마다 차원이 늘어 메모리와 계산이 커집니다. 더하기는 차원이 그대로라 층을 많이 쌓기 쉽습니다.

낱말

여기서 쓴 말책에서 부르는 말
입력을 건너뛰어 더하는 길잔차 연결(residual connection), 스킵 연결(skip connection), 숏컷 연결(shortcut connection)
그대로 더하는 스킵 연결항등 사상(identity mapping), 항등 숏컷(identity shortcut)
모양을 맞추는 스킵 연결프로젝션 숏컷(projection shortcut), W_s
F, 바꿀 만큼잔차 함수(residual function). F 와 스킵 연결을 묶은 것이 잔차 블록(residual block)
기울기가 앞쪽에서 0 에 가까워짐기울기 소실(vanishing gradient)
기울기가 앞쪽에서 커짐기울기 폭발(exploding gradient)
깊을수록 훈련 오차가 커짐성능 저하 문제(degradation problem)
곱해서 거꾸로 전하기연쇄 법칙(chain rule), 역전파(backpropagation)
층마다의 기울기를 모은 표야코비 행렬(Jacobian)
더한 뒤 정규화, 정규화한 뒤 더하기Post-LN, Pre-LN

출처

← 배치 정규화와 레이어 정규화객체 탐지 →