잔차 연결(ResNet): 스킵 연결로 기울기를 살린다
층을 더 쌓으면 더 잘 배울 것 같지만, 스킵 연결(skip connection) 없이 깊게 쌓은 망은 오히려 훈련 오차부터 커졌습니다. 층마다 입력을 그대로 더해 주는 스킵 연결 하나로 기울기(그래디언트)가 어떻게 앞쪽 층까지 닿는지 막대로 보고, ∂y/∂x = 1 + ∂F/∂x 를 숫자로 따라갑니다.
한 줄 답. 잔차 연결은 층의 출력에 입력을 그대로 더하는 스킵 연결입니다: y = x + F(x). 층(F)은 입력을 통째로 새로 만드는 대신 「얼마나 바꿀지」만 배웁니다. 미분하면 ∂y/∂x = 1 + ∂F/∂x 라서, 층을 많이 쌓아도 기울기가 스킵 연결의 1 을 타고 줄지 않은 채 앞쪽 층까지 닿습니다. 아주 깊은 합성곱 망(ResNet)도, 트랜스포머도 이 스킵 연결을 층마다 씁니다.
막대 하나는 그 층의 입력까지 거꾸로 흘러온 기울기의 크기입니다. 출력 쪽 기울기를 1 로 둡니다. 세로는 로그 눈금이라 1, 10⁻⁵, 10⁻¹⁰ 처럼 자릿수로 읽습니다. 작게 줄인 본보기입니다. 값이 하나뿐이고 모든 층의 F 가 기울기 0.1 로 같습니다. 진짜 망에서는 층마다 기울기가 다르고, 값이 벡터라서 숫자 대신 행렬(야코비 행렬)이 곱해집니다.
해 볼 것. ① 처음(10층, 스킵 연결 없음)에는 1층까지 닿은 기울기가 1 × 10⁻¹⁰ 입니다. 층이 하나 늘 때마다 막대가 한 자리씩 내려갑니다. ② 「스킵 연결 있음」을 누르면 같은 10층에서 2.594 입니다. ③ 층 수를 20 으로 올리면 스킵 연결 없음은 1 × 10⁻²⁰, 있음은 6.727 입니다. 스킵 연결이 있어도 1 에 딱 머물지는 않고 조금씩 커집니다. ④ 1층으로 내리면 0.1 과 1.1, 곧 층 하나의 기울기 그대로입니다.
1. 잔차 연결이란: 입력을 그대로 더하는 스킵 연결
신경망의 층은 입력 x 를 받아 새 값을 냅니다. 평범한 망에서는 층 몇 개가 낸 값 F(x) 가 곧 다음의 입력입니다. 잔차 연결을 둔 망은 층 몇 개를 블록 하나로 묶고, 블록의 출력에 들어온 x 를 그대로 더합니다.
평범한 블록: y = F(x)
잔차 블록: y = x + F(x) x 는 스킵 연결로, F(x) 는 층들을 지나서 온다
x: 블록에 들어온 값. 스킵 연결로 그대로 옵니다.F(x): 블록 안의 층 몇 개가 x 로 만든 값.y: 블록의 출력. 다음의 입력이 됩니다.
x 를 그대로 보내는 길을 스킵 연결이라고 부릅니다. 가중치(weight)도 없고 계산은 더하기 하나입니다. F 는 「원하는 출력 − x」, 곧 남은 차이만 배우면 됩니다. 이 차이를 잔차(residual)라고 해서 잔차 연결입니다. 블록이 아무것도 하지 말아야 할 때(출력 = 입력)는 F 가 0 이면 됩니다. 평범한 블록으로 같은 일을 하려면 가중치들이 정확히 「그대로 통과」를 만들어 내야 합니다. 원 논문의 생각은, 0 에 가깝게 만드는 쪽이 이것보다 배우기 쉽다는 것입니다.
2. 깊으면 오히려 못 배우던 문제
층을 더 쌓으면 나타낼 수 있는 것은 늘어납니다. 얕은 망 위에 「그대로 통과」하는 층들을 덧붙이면 깊은 망이 되고, 결과는 얕은 망과 같습니다. 그러니 깊은 망이 얕은 망보다 나쁠 까닭이 없습니다. 그런데 ResNet 논문은 스킵 연결 없이 층을 더 쌓은 망이 훈련 오차부터 더 높아지는 것을 보였습니다. 시험 오차만 나쁜 과적합이 아니라 훈련 자료조차 덜 맞췄으니, 배우는 과정(최적화)이 좋은 가중치를 찾지 못한 것입니다. 논문은 이것을 성능 저하 문제라고 불렀습니다.
기울기 이야기는 여기에 겹칩니다. 역전파는 출력 쪽 기울기에 층마다의 기울기를 곱하며 입력 쪽으로 갑니다. 층마다 1 보다 작은 수가 곱해지면 앞쪽 층에 닿는 기울기가 0 에 가까워지고(기울기 소실), 앞쪽 층은 거의 배우지 못합니다. 위 실험의 「스킵 연결 없음」이 그 모습입니다. 다만 원 논문은 배치 정규화를 쓴 평범한 망에서는 기울기가 사라지지 않았다고 확인하고, 성능 저하의 원인을 기울기 소실로 보지 않았습니다. 스킵 연결이 기울기를 그대로 흘려보낸다는 설명은 같은 저자들의 다음 논문(출처 2)에 식으로 나옵니다. 다음 절이 그 식입니다.
3. 식이 만들어지는 과정
「다음」을 누르면 식에 조각이 붙고(주황 바탕이 이번에 붙은 조각), 막대가 그 단계의 숫자로 바뀌고, 아래에 까닭이 나옵니다. 위 실험과 같은 본보기(F(x) = 0.1·x)입니다.
- 블록 하나:
y = x + F(x). x = 2 면 F(2) = 0.2, y = 2.2. - 기울기:
∂y/∂x = 1 + ∂F/∂x. x 를 0.01 늘리면 y 는 0.011 늘어 비율이 1.1 입니다. 1 은 스킵 연결의 몫이라 F 가 무엇이든 남습니다. - 쌓으면 곱:
(1 + a)(1 + b)(1 + c). 연쇄 법칙으로 블록마다의 기울기를 곱합니다. 1.1³ = 1.331. 스킵 연결이 없으면 0.1³ = 0.001. - 펼치면 1 이 남는다:
1 + (a + b + c) + (ab + bc + ca) + abc. 첫 항 1 은 F 를 하나도 지나지 않고 스킵 연결로만 온 길입니다. 블록 수와 상관없이 늘 1 입니다. 스킵 연결이 없는 망에는 마지막 항 abc 만 있습니다.
해 볼 것. ① 처음 막대는 x 2, F(x) 0.2, y 2.2 입니다. ② 다음 단계의 막대는 스킵 연결 1, F 0.1, 합 1.1 입니다. ③ 블록 1, 2, 3개의 기울기가 1.1, 1.21, 1.331 이고, 스킵 연결이 없으면 0.1, 0.01, 0.001 입니다. ④ 펼친 항이 1, 0.3, 0.03, 0.001 이고 합이 1.331 로 ③ 과 같습니다. 곱이 0 이 되려면 a, b, c 가운데 하나가 정확히 −1 이어야 합니다. 모든 ∂F/∂x 가 −0.1 이어도 10블록 뒤 기울기는 0.9¹⁰ = 0.3487 로 남습니다.
4. 손으로 따라가기: 블록 셋
x = 2 에서 시작해 블록 셋을 지납니다. 모든 F 는 F(x) = 0.1·x 입니다. 값은 앞으로(입력 → 출력), 기울기는 그 곱으로 셉니다.
| 지난 블록 | 스킵 연결 있음: 값 x + 0.1·x | 기울기의 곱 | 스킵 연결 없음: 값 0.1·x | 기울기의 곱 |
|---|---|---|---|---|
| 0 | 2 | 1 | 2 | 1 |
| 1 | 2.2 | 1.1 | 0.2 | 0.1 |
| 2 | 2.42 | 1.21 | 0.02 | 0.01 |
| 3 | 2.662 | 1.331 | 0.002 | 0.001 |
스킵 연결이 없으면 값도 기울기도 블록마다 10분의 1 이 됩니다. 스킵 연결이 있으면 둘 다 1.1 배씩 조금 커집니다. 이 본보기는 F 가 모두 같은 직선이라 값과 기울기가 같은 비율로 움직입니다. 진짜 망의 F 는 휘는 함수라 둘이 따로 움직입니다.
5. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 기울기에 1 이 더해진다 | ∂y/∂x = 1 + ∂F/∂x. 스킵 연결로 온 몫은 줄지 않는다 | 3절 ② 단계 |
| 곱이 0 이 되기 어렵다 | 펼친 곱에 늘 1 인 항이 있다. 0 이 되려면 어느 블록의 ∂F/∂x 가 정확히 −1 이어야 한다 | 3절 ④ 단계 |
| 아무것도 안 하기가 쉽다 | F = 0 이면 y = x. 필요 없는 블록은 F 를 0 쪽으로 두면 된다 | 1절 |
| 사라지지 않을 뿐, 늘 1 은 아니다 | 1.1 을 20번 곱하면 6.727. 커질 수도 있다 | 위 실험, 20층 |
| 더하려면 차원이 같아야 한다 | 다르면 스킵 연결에 맞추는 장치(프로젝션)가 필요하다 | 6절 |
6. 차원이 다를 때
더하기는 x 와 F(x) 의 모양이 같아야 합니다. 합성곱 망은 중간에 그림의 가로세로를 절반으로 줄이고 채널 수를 늘리곤 해서, 그 블록에서는 x 와 F(x) 의 모양이 다릅니다. 이때 쓰는 방법은 둘입니다.
- 프로젝션 숏컷(projection shortcut):
y = F(x) + W_s·x. 스킵 연결에 가중치 W_s 를 둬 x 를 F(x) 의 모양으로 바꿉니다. 합성곱 망에서는 스트라이드(stride) 2 의 1×1 합성곱이 가로세로를 줄이고 채널 수를 맞춥니다. 가중치가 늘고, 그 블록의 스킵 연결은 더는 「그대로 1」이 아닙니다. - 제로 패딩(zero padding): 가로세로는 건너뛰며(스트라이드 2) 줄이고, 모자란 채널은 0 으로 채웁니다. 가중치가 없지만 늘어난 채널에는 스킵 연결로 온 정보가 없습니다.
그래서 보통은 차원이 바뀌는 몇 블록에서만 프로젝션을 쓰고, 나머지 블록은 그대로 더합니다. 트랜스포머는 처음부터 모든 층의 출력 크기를 같게 맞춰 늘 그대로 더할 수 있게 했습니다.
7. 트랜스포머에서도
트랜스포머의 층 하나는 어텐션과 작은 신경망(피드포워드) 둘이고, 둘 다 잔차 연결로 감쌉니다. 정규화를 어디에 두느냐에 따라 두 꼴이 있습니다.
# 원 논문의 꼴: 더한 뒤에 정규화(Post-LN)
x = LayerNorm(x + Attention(x))
x = LayerNorm(x + FeedForward(x))
# 다른 꼴: 정규화한 것을 F 에 넣고, 더하기는 정규화 밖에서(Pre-LN)
x = x + Attention(LayerNorm(x))
x = x + FeedForward(LayerNorm(x))
x: 층을 지나며 이어지는 값.Attention: 어텐션.FeedForward: 작은 신경망(피드포워드).LayerNorm: 레이어 정규화.
Pre-LN 에서는 x 가 정규화를 거치지 않고 더하기로만 맨 끝까지 이어집니다. 그래서 3절의 「스킵 연결로만 온 길」이 첫 층부터 마지막 층까지 통째로 남습니다. Post-LN 은 더할 때마다 레이어 정규화를 지나므로 그 길에도 정규화의 기울기가 곱해집니다. 두 꼴 모두 쓰입니다.
8. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
스킵 연결 없음 y = F(x) | 가장 단순하다. 더하기를 위해 x 를 들고 있을 필요가 없다 | 깊어지면 배우기 어렵다. 기울기가 층마다 곱해져 사라지기 쉽다 | 층이 몇 개 안 되는 작은 망 |
그대로 더하기 y = x + F(x) | 가중치가 없고 계산은 더하기 하나. 기울기에 1 이 더해진다 | x 와 F(x) 의 모양이 같아야 한다 | 모양이 같은 블록 사이. 깊은 망의 대부분 블록 |
프로젝션 숏컷 y = F(x) + W_s·x | 모양이 달라도 더할 수 있다 | 가중치와 계산이 늘고, 스킵 연결이 순수한 1 이 아니다 | 채널 수나 가로세로가 바뀌는 블록 |
| 제로 패딩 | 모양이 달라도 가중치가 늘지 않는다 | 늘어난 채널에는 스킵 연결 정보가 없다 | 가중치를 아끼고 싶을 때, 차원이 바뀌는 블록 |
| 이어 붙이기(DenseNet 식) | 앞의 값이 섞이지 않고 남는다 | 층마다 차원이 늘어 메모리와 계산이 커진다 | 앞 층의 특징을 그대로 다시 쓰고 싶을 때 |
| 트랜스포머 Pre-LN | 스킵 연결이 정규화를 거치지 않아 맨 끝까지 곧게 이어진다 | 원 논문의 꼴과 달라, 옛 설정을 그대로 옮길 수 없다 | 트랜스포머를 새로 짤 때 흔히 고르는 꼴 |
| 트랜스포머 Post-LN | 원 논문 그대로라 그 설정과 결과를 따라가기 쉽다 | 스킵 연결도 층마다 정규화를 지난다 | 원 논문의 꼴을 재현할 때 |
어디에 쓰나
- 그림을 다루는 합성곱 망. ResNet 과 그 뒤의 많은 그림 분류·검출 망이 잔차 블록을 쌓습니다. 미리 학습한 ResNet 을 가져다 다른 일에 맞춰 쓰는 일도 흔합니다.
- 트랜스포머. 언어 모델과 번역 모델의 모든 층이 어텐션과 피드포워드를 잔차 연결로 감쌉니다.
- 그림을 만드는 모델. 확산 모델에서 잡음을 덜어 내는 망도 흔히 안에 잔차 블록을 씁니다.
- 미세 조정. LoRA 처럼 원래 가중치는 두고 작은 변화만 더하는 방법도 「원래 것 + 바꿀 만큼」이라는 같은 생각입니다.
자주 묻는 것
잔차 연결이 있으면 층을 얼마든지 쌓아도 되나요?
아닙니다. 기울기가 사라지는 길을 막아 줄 뿐입니다. 층마다 1 + ∂F/∂x 를 곱하므로 기울기가 오히려 커질 수 있고(이 쪽 실험에서 20층이면 6.727배), 층이 늘면 계산과 메모리도 늘어납니다. 실제 ResNet 은 블록 안에 배치 정규화를 함께 씁니다.
잔차 연결은 과적합을 막는 장치인가요?
아닙니다. 원 논문이 다룬 문제는 층을 쌓을수록 훈련 오차부터 높아지는 것, 곧 배우는 과정(최적화)의 문제입니다. 과적합은 훈련 오차는 낮은데 시험 오차가 높은 것이라 다른 문제입니다.
더하지 않고 이어 붙이면 안 되나요?
됩니다. DenseNet 처럼 앞 층의 출력을 이어 붙이는 망도 있습니다. 이어 붙이면 앞의 값이 섞이지 않고 남지만, 층마다 차원이 늘어 메모리와 계산이 커집니다. 더하기는 차원이 그대로라 층을 많이 쌓기 쉽습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 입력을 건너뛰어 더하는 길 | 잔차 연결(residual connection), 스킵 연결(skip connection), 숏컷 연결(shortcut connection) |
| 그대로 더하는 스킵 연결 | 항등 사상(identity mapping), 항등 숏컷(identity shortcut) |
| 모양을 맞추는 스킵 연결 | 프로젝션 숏컷(projection shortcut), W_s |
| F, 바꿀 만큼 | 잔차 함수(residual function). F 와 스킵 연결을 묶은 것이 잔차 블록(residual block) |
| 기울기가 앞쪽에서 0 에 가까워짐 | 기울기 소실(vanishing gradient) |
| 기울기가 앞쪽에서 커짐 | 기울기 폭발(exploding gradient) |
| 깊을수록 훈련 오차가 커짐 | 성능 저하 문제(degradation problem) |
| 곱해서 거꾸로 전하기 | 연쇄 법칙(chain rule), 역전파(backpropagation) |
| 층마다의 기울기를 모은 표 | 야코비 행렬(Jacobian) |
| 더한 뒤 정규화, 정규화한 뒤 더하기 | Post-LN, Pre-LN |
출처
- Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition, arXiv:1512.03385. y = F(x) + x, 성능 저하 문제, 사영 지름길 W_s 와 0 채우기.
- Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Identity Mappings in Deep Residual Networks, arXiv:1603.05027. 기울기가 1 + (F 의 기울기) 꼴로 거꾸로 전해진다는 식.
- Andreas Veit, Michael Wilber, Serge Belongie, Residual Networks Behave Like Ensembles of Relatively Shallow Networks, arXiv:1605.06431. 곱을 펼치면 여러 길의 합이 된다는 보기.
- Ashish Vaswani 외, Attention Is All You Need, arXiv:1706.03762. 부분 층마다 LayerNorm(x + Sublayer(x)).