기울기 소실과 폭발
층을 많이 쌓은 신경망에서 앞쪽 층이 거의 배우지 않거나, 학습 중에 loss 가 갑자기 NaN 이 되는 일이 있습니다. 둘은 같은 까닭에서 나옵니다. 층 수와 층마다 곱해지는 값을 바꿔 가며 층별 기울기가 어떻게 줄거나 커지는지 보세요.
한 줄 답. 역전파는 출력 쪽에서 입력 쪽으로 거슬러 가며 기울기에 층마다의 비율을 곱합니다. 비율이 1 보다 작으면 층 수만큼 곱해져 0 에 가까워지고(소실: 앞쪽 층이 안 배운다), 1 보다 크면 끝없이 커집니다(폭발: loss 가 튀거나 NaN). 0.25 를 10번 곱하면 약 0.00000095 입니다. 그래서 비율을 1 근처에 두는 것이 해법입니다: ReLU, 좋은 초기화, 정규화 층, 잔차 연결. 이미 커진 기울기는 그래디언트 클리핑(gradient clipping)으로 줄입니다.
막대 하나가 층 하나의 가중치가 받는 기울기 크기입니다. 세로는 로그 눈금이라 눈금 한 칸이 100배입니다. 굵은 가로선이 1(그대로)이고, 파랑 막대는 1 보다 작고 주황 막대는 1 보다 큽니다. 마지막 층 위의 기울기를 1 로 두고 층마다 같은 값을 곱한 작게 줄인 본보기입니다. 진짜 망에서는 층마다 비율이 다르고, 숫자 하나가 아니라 행렬이라 방향마다 늘이고 줄이는 정도가 다릅니다.
해 볼 것. ① 처음(층 10, × 0.25)에는 첫 층이 9.54 × 10⁻⁷, 마지막 층이 0.25 입니다. 첫 층이 2.62 × 10⁵ 배(262,144배) 작게 고쳐집니다. ② 값을 1 로 두면 모든 막대가 1 의 선에 붙습니다. ③ 1.5 로 두면 첫 층이 57.7 이고, 층을 20 으로 늘리면 3.33 × 10³ 입니다. ④ 층 20 에서 0.9 는 첫 층이 0.122, 1.1 은 6.73 입니다. 1 에서 10% 만 벗어나도 층이 많으면 몇 배로 벌어집니다.
1. 무엇인가: 거슬러 가며 곱해지는 기울기
기울기는 「이 가중치를 조금 바꾸면 loss 가 얼마나 바뀌나」입니다. 학습은 가중치마다 기울기에 학습률을 곱한 만큼 고칩니다(경사 하강법). 그래서 어떤 층의 기울기가 0 에 가까우면 그 층은 거의 고쳐지지 않습니다.
층이 많은 망의 기울기는 역전파로 구합니다. 출력 쪽에서 출발해 한 층씩 거슬러 가며, 층마다 「들어온 값이 조금 바뀌면 나간 값이 몇 배 바뀌나」를 곱합니다. 이 쪽에서는 이것을 그 층의 비율이라고 부릅니다. 앞쪽 층일수록 곱하는 횟수가 많습니다.
- 기울기 소실: 비율이 1 보다 작아 앞쪽 층의 기울기가 0 에 가까워지는 것. 앞쪽 층이 거의 배우지 않습니다.
- 기울기 폭발: 비율이 1 보다 커 앞쪽 층의 기울기가 아주 커지는 것. 한 스텝(step)에 가중치가 멀리 튀어 loss 가 튀고, 숫자가 컴퓨터가 적을 수 있는 범위를 넘으면 무한대(inf)가 되고, inf − inf 같은 계산에서 NaN(숫자가 아님)이 나옵니다.
2. 식이 만들어지는 과정
층 10개짜리 아주 좁은 망을 생각합니다. 층마다 숫자 하나만 지나갑니다: h₁ = σ(w₁ × x), h₂ = σ(w₂ × h₁), …, h₁₀ = σ(w₁₀ × h₉). σ 는 시그모이드이고, z 는 σ 에 들어가는 값입니다(예: z₂ = w₂ × h₁). 가중치는 모두 1, 입력 x 도 1 로 둡니다. 맨 앞의 w₁ 이 받는 기울기 ∂L/∂w₁ 을 구해 봅니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 오른쪽에서 왼쪽으로 하나씩 생기고, 아래에 까닭이 나옵니다. 막대는 σ′ 가 가장 클 때(0.25)의 값, 곧 가장 좋은 경우입니다. 실제로는 z 가 0 이 아니라 σ′ 가 더 작고, 기울기는 더 빨리 줄어듭니다.
- 출발:
∂L/∂h₁₀ = 1. 마지막 값에 대한 기울기를 1 로 둡니다. 실제 값은 아래의 모든 기울기에 똑같이 곱해질 뿐입니다. - 한 층 거슬러:
× ∂h₁₀/∂h₉. 연쇄 법칙입니다. 이 층의 비율은σ′(z₁₀) × w₁₀입니다. 시그모이드의 기울기는σ′(z) = σ(z) × (1 − σ(z))이고, z = 0 일 때0.5 × 0.5 = 0.25로 가장 큽니다. 그래서 w₁₀ = 1 이면 비율은 많아야 0.25 입니다. - 층마다 한 번씩:
× … × ∂h₂/∂h₁. h₁ 까지 9번 곱해 0.25⁹ ≈ 0.0000038 입니다. - 완성:
∂L/∂w₁ = ∂L/∂h₁₀ × ∂h₁₀/∂h₉ × … × ∂h₂/∂h₁ × ∂h₁/∂w₁. 마지막 조각∂h₁/∂w₁ = σ′(z₁) × x도 많아야 0.25 입니다. 모두 10번 곱해 0.25¹⁰ ≈ 0.00000095, 약 백만분의 1 입니다.
해 볼 것. 세 번 넘겨 ④ 에 오면 w₁ 막대가 9.54 × 10⁻⁷ 입니다. 마지막 층의 w₁₀ 이 받는 0.25 보다 2.62 × 10⁵ 배 작습니다. 위 실험의 처음(층 10, × 0.25)에서 1번 층 막대가 같은 9.54 × 10⁻⁷ 입니다.
3. 손으로: 0.25 와 1.5 를 거듭 곱하기
0.25 는 1/4 이라 0.25¹⁰ = 1 ÷ 4¹⁰ = 1 ÷ 1,048,576 입니다. 같은 10번이라도 1.5 를 곱하면 57 을 넘습니다.
| 곱한 횟수 | 0.25 를 곱하면 | 1.5 를 곱하면 |
|---|---|---|
| 1 | 0.25 | 1.5 |
| 2 | 0.0625 | 2.25 |
| 3 | 0.015625 | 3.375 |
| 5 | 0.0009765625 | 7.59375 |
| 10 | 0.00000095367… | 57.665… |
더하기였다면 10번 해도 2.5 와 15 입니다. 곱하기라서 층 수가 지수로 들어갑니다.
4. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 더하지 않고 곱한다 | 층을 하나 늘릴 때마다 한 번 더 곱한다. 그래서 층 수가 지수로 들어간다 | 층 수를 늘려 보기 |
| 앞쪽 층일수록 심하다 | 출력에서 멀수록 곱하는 횟수가 많다. 마지막 층은 멀쩡한데 첫 층만 망가질 수 있다 | 막대가 왼쪽으로 갈수록 길어진다 |
| 1 근처만 안전하다 | 0.9 와 1.1 처럼 1 에서 조금 벗어나도 층이 많으면 크게 벌어진다 | 해 볼 것 ④ |
| 비율 = 활성화 함수의 기울기 × 가중치 | 고칠 곳이 둘이다. 활성화 함수(ReLU)와 가중치의 크기(초기화) | 2절 ② |
| 소실은 조용하고 폭발은 시끄럽다 | 소실은 오류 없이 학습이 느려질 뿐이라 놓치기 쉽다. 폭발은 loss 가 튀거나 NaN 이 되어 바로 보인다 | 5절 |
5. 증상과 확인하는 법
- 소실: 입력 쪽 층의 가중치가 학습 내내 거의 바뀌지 않습니다. loss 가 처음부터 거의 줄지 않거나 아주 느리게 줄어듭니다.
- 폭발: loss 가 갑자기 크게 튀거나 inf, NaN 이 됩니다. NaN 이 한 번 가중치에 들어가면 그 뒤의 계산이 모두 NaN 이 되어 되돌아오지 않습니다.
짐작하지 말고 층마다 기울기 크기를 찍어 봅니다. 입력 쪽 층의 숫자가 출력 쪽보다 몇 자리씩 작으면 소실을, 갑자기 몇 자리씩 커지면 폭발을 의심합니다.
# PyTorch: backward() 뒤에 층마다 기울기의 크기(노름)를 찍는다
loss.backward()
for name, p in model.named_parameters():
if p.grad is not None:
print(name, p.grad.norm().item())
6. 고치는 법
- ReLU. 비율의 반쪽인 활성화 함수의 기울기를 1 로 만듭니다. ReLU 의 기울기는 양수 쪽에서 1, 음수 쪽에서 0 입니다. 시그모이드는 많아야 0.25 이고, z = 5 처럼 0 에서 멀면 약 0.0066 으로 납작해집니다. tanh 는 많아야 1(z = 0 일 때)이지만 0 에서 멀어지면 역시 0 에 가까워집니다.
- 좋은 초기화. 비율의 다른 반쪽인 가중치의 크기를 맞춥니다. 층으로 들어오는 값의 수(fan_in)가 많을수록 가중치를 작게 뽑아, 층을 지나도 값과 기울기의 크기가 비슷하게 남게 합니다. 시그모이드·tanh 에는 Xavier 초기화(분산
2 ÷ (fan_in + fan_out)), ReLU 에는 He 초기화(분산2 ÷ fan_in)를 씁니다. - 정규화 층. 층 사이의 값을 다시 평균 0, 분산 1 근처로 맞춥니다(정규화와 표준화). 층을 지나며 값이 커지거나 줄어드는 것을 중간에서 끊고, 값이 시그모이드 같은 함수의 납작한 끝으로 밀려나는 것을 줄입니다.
- 잔차 연결. 층의 출력에 입력을 그대로 더합니다:
h = h_prev + F(h_prev). 그러면 비율이1 + F′이 되어, F 쪽 비율이 0 에 가까워도 비율이 1 근처에 남습니다. 덧셈 길로 기울기가 × 1 로 지나갑니다. 트랜스포머의 「더하고 정규화」의 더하기가 이것입니다. - 그래디언트 클리핑. 기울기 전체의 길이(노름)가 정한 값보다 크면 그 값이 되게 줄입니다. 방향은 그대로 둡니다(아래 그림). 폭발에만 듣고 소실에는 듣지 않습니다. PyTorch 에서는
loss.backward()와optimizer.step()사이에torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)한 줄을 넣습니다(1.0 은 예시 값).
√(6² + 8²) = 10 으로 정한 값 5 보다 깁니다. 그래서 5 ÷ 10 = 0.5 를 곱해 (3, 4) 로 줄입니다. 길이는 √(3² + 4²) = 5, 방향은 그대로입니다. 원 안의 (−4, 2) 는 길이가 √20 ≈ 4.47 로 5 보다 짧아 그대로 둡니다. 흐린 점선 = 자르기 전, 초록 = 자른 뒤, 파랑 = 원 안이라 그대로, 주황 점선 원 = 정한 값.7. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| ReLU 계열 활성화 | 양수 쪽 기울기가 1 이라 활성화 때문에는 줄지 않는다. 계산이 싸다 | 음수 쪽 기울기가 0 이라 음수만 받는 뉴런은 더 배우지 못한다(죽은 ReLU) | 은닉층(hidden layer)의 기본값. 시그모이드·tanh 를 은닉층에 쓸 까닭이 없을 때 |
| 좋은 초기화(Xavier, He) | 학습 첫 스텝부터 층마다 크기가 크게 바뀌지 않는다. 비용이 없다 | 처음만 맞춘다. 학습하며 가중치가 바뀌면 다시 흐트러질 수 있다 | 늘. 활성화 함수에 맞춰 고른다(ReLU 는 He, 시그모이드·tanh 는 Xavier) |
| 정규화 층(배치·층) | 층마다 값의 눈금을 다시 맞춘다. 큰 학습률을 쓰기 쉬워진다 | 계산과 파라미터가 는다. 배치 정규화는 배치 크기에 기댄다 | 깊은 합성곱 신경망(배치 정규화), 트랜스포머(층 정규화) |
| 잔차 연결 | 덧셈 길로 기울기가 × 1 로 지나가 아주 깊은 망도 학습된다 | 더하는 두 값의 모양이 같아야 한다. 망의 짜임을 바꿔야 한다 | 층이 많은 망. ResNet 같은 깊은 합성곱 신경망, 트랜스포머 |
| 그래디언트 클리핑 | 폭발해도 한 스텝이 너무 커지지 않는다. 한 줄로 넣는다 | 소실은 못 고친다. 자르는 값을 정해야 한다 | RNN, 트랜스포머처럼 기울기가 가끔 튀는 학습. loss 가 갑자기 튀거나 NaN 이 날 때 |
하나만 고르는 것이 아니라 보통 같이 씁니다. 활성화와 초기화는 늘 맞춰 두고, 층이 많으면 잔차 연결과 정규화 층을 더하고, 학습 중에 기울기가 튀면 그래디언트 클리핑을 넣습니다.
어디서 만나나
- 층이 많은 망을 짤 때. 활성화 함수, 초기화, 잔차 연결, 정규화 층을 같이 고릅니다.
- 순환 신경망(RNN). 같은 가중치를 시간 단계마다 거듭 곱해서, 긴 문장에서 같은 일이 생깁니다. LSTM 과 GRU 는 이것을 줄이려고 만든 구조이고, 그래디언트 클리핑을 흔히 같이 씁니다.
- 트랜스포머. 층마다 잔차 연결과 층 정규화가 들어 있습니다(트랜스포머).
- 학습이 이상할 때. loss 가 줄지 않거나 NaN 이 되면 층별 기울기 크기부터 찍어 봅니다(5절).
자주 묻는 것
ReLU 를 쓰면 기울기 소실이 사라지나요?
활성화 함수 때문에 줄어드는 몫은 사라집니다. ReLU 의 기울기는 양수 쪽에서 1 이기 때문입니다. 하지만 층의 비율은 활성화 함수의 기울기 × 가중치라서, 가중치가 작으면 여전히 줄어듭니다. 음수만 받는 뉴런은 기울기가 0 이라 더 배우지 못하기도 합니다. 그래서 좋은 초기화, 정규화 층, 잔차 연결과 같이 씁니다.
loss 가 NaN 이 되면 무엇부터 보나요?
층마다 기울기 크기를 찍어 봅니다. 기울기가 크게 튀었다면 학습률을 낮추고 그래디언트 클리핑을 넣습니다. 기울기가 멀쩡한데 NaN 이 나오면 log(0) 이나 0 으로 나누기 같은 계산, 입력 자료에 섞인 NaN 을 의심합니다.
그래디언트 클리핑으로 소실도 고칠 수 있나요?
아닙니다. 그래디언트 클리핑은 정한 크기보다 큰 기울기를 줄이기만 하고, 작은 기울기를 키우지 않습니다. 소실은 ReLU, 좋은 초기화, 정규화 층, 잔차 연결로 다룹니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 기울기가 0 에 가까워짐 | 기울기 소실(vanishing gradient) |
| 기울기가 아주 커짐 | 기울기 폭발(exploding gradient) |
| 층의 비율 | 국소 기울기(local gradient). 값이 여럿이면 야코비 행렬(Jacobian) |
| 거슬러 가며 곱하기 | 연쇄 법칙(chain rule), 역전파(backpropagation) |
| 함수의 납작한 끝 | 포화(saturation) |
| 들어오는 값의 수, 나가는 값의 수 | fan-in, fan-out |
| Xavier 초기화, He 초기화 | Glorot 초기화(Xavier initialization), Kaiming 초기화(He initialization) |
| 입력을 그대로 더하는 길 | 잔차 연결, 건너뛰기 연결(residual connection, skip connection) |
| 기울기 자르기 | 그래디언트 클리핑(gradient clipping). 길이로 자르면 clipping by norm |
| 기울기 전체의 길이 | 노름(norm) |
| 숫자가 아님, 무한대 | NaN(not a number), inf(infinity) |
| 음수만 받아 멈춘 ReLU | 죽은 ReLU(dying ReLU) |
출처
- Xavier Glorot, Yoshua Bengio, Understanding the difficulty of training deep feedforward neural networks, AISTATS(PMLR 9권). 시그모이드를 쓴 깊은 망에서 층마다 기울기가 달라지는 것, Xavier 초기화.
- Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Delving Deep into Rectifiers, arXiv:1502.01852. ReLU 를 쓰는 망의 초기화(He 초기화).
- Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition, arXiv:1512.03385. 잔차 연결.
- Razvan Pascanu, Tomas Mikolov, Yoshua Bengio, On the difficulty of training recurrent neural networks, arXiv:1211.5063. 순환 신경망의 소실과 폭발, 길이로 기울기 자르기.