기울기 소실과 폭발

층을 많이 쌓은 신경망에서 앞쪽 층이 거의 배우지 않거나, 학습 중에 loss 가 갑자기 NaN 이 되는 일이 있습니다. 둘은 같은 까닭에서 나옵니다. 층 수와 층마다 곱해지는 값을 바꿔 가며 층별 기울기가 어떻게 줄거나 커지는지 보세요.

한 줄 답. 역전파는 출력 쪽에서 입력 쪽으로 거슬러 가며 기울기에 층마다의 비율을 곱합니다. 비율이 1 보다 작으면 층 수만큼 곱해져 0 에 가까워지고(소실: 앞쪽 층이 안 배운다), 1 보다 크면 끝없이 커집니다(폭발: loss 가 튀거나 NaN). 0.25 를 10번 곱하면 약 0.00000095 입니다. 그래서 비율을 1 근처에 두는 것이 해법입니다: ReLU, 좋은 초기화, 정규화 층, 잔차 연결. 이미 커진 기울기는 그래디언트 클리핑(gradient clipping)으로 줄입니다.

막대 하나가 층 하나의 가중치가 받는 기울기 크기입니다. 세로는 로그 눈금이라 눈금 한 칸이 100배입니다. 굵은 가로선이 1(그대로)이고, 파랑 막대는 1 보다 작고 주황 막대는 1 보다 큽니다. 마지막 층 위의 기울기를 1 로 두고 층마다 같은 값을 곱한 작게 줄인 본보기입니다. 진짜 망에서는 층마다 비율이 다르고, 숫자 하나가 아니라 행렬이라 방향마다 늘이고 줄이는 정도가 다릅니다.

해 볼 것. ① 처음(층 10, × 0.25)에는 첫 층이 9.54 × 10⁻⁷, 마지막 층이 0.25 입니다. 첫 층이 2.62 × 10⁵ 배(262,144배) 작게 고쳐집니다. ② 값을 1 로 두면 모든 막대가 1 의 선에 붙습니다. ③ 1.5 로 두면 첫 층이 57.7 이고, 층을 20 으로 늘리면 3.33 × 10³ 입니다. ④ 층 20 에서 0.9 는 첫 층이 0.122, 1.1 은 6.73 입니다. 1 에서 10% 만 벗어나도 층이 많으면 몇 배로 벌어집니다.

1. 무엇인가: 거슬러 가며 곱해지는 기울기

기울기는 「이 가중치를 조금 바꾸면 loss 가 얼마나 바뀌나」입니다. 학습은 가중치마다 기울기에 학습률을 곱한 만큼 고칩니다(경사 하강법). 그래서 어떤 층의 기울기가 0 에 가까우면 그 층은 거의 고쳐지지 않습니다.

층이 많은 망의 기울기는 역전파로 구합니다. 출력 쪽에서 출발해 한 층씩 거슬러 가며, 층마다 「들어온 값이 조금 바뀌면 나간 값이 몇 배 바뀌나」를 곱합니다. 이 쪽에서는 이것을 그 층의 비율이라고 부릅니다. 앞쪽 층일수록 곱하는 횟수가 많습니다.

2. 식이 만들어지는 과정

층 10개짜리 아주 좁은 망을 생각합니다. 층마다 숫자 하나만 지나갑니다: h₁ = σ(w₁ × x), h₂ = σ(w₂ × h₁), …, h₁₀ = σ(w₁₀ × h₉). σ 는 시그모이드이고, z 는 σ 에 들어가는 값입니다(예: z₂ = w₂ × h₁). 가중치는 모두 1, 입력 x 도 1 로 둡니다. 맨 앞의 w₁ 이 받는 기울기 ∂L/∂w₁ 을 구해 봅니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 오른쪽에서 왼쪽으로 하나씩 생기고, 아래에 까닭이 나옵니다. 막대는 σ′ 가 가장 클 때(0.25)의 값, 곧 가장 좋은 경우입니다. 실제로는 z 가 0 이 아니라 σ′ 가 더 작고, 기울기는 더 빨리 줄어듭니다.

  1. 출발: ∂L/∂h₁₀ = 1. 마지막 값에 대한 기울기를 1 로 둡니다. 실제 값은 아래의 모든 기울기에 똑같이 곱해질 뿐입니다.
  2. 한 층 거슬러: × ∂h₁₀/∂h₉. 연쇄 법칙입니다. 이 층의 비율은 σ′(z₁₀) × w₁₀ 입니다. 시그모이드의 기울기는 σ′(z) = σ(z) × (1 − σ(z)) 이고, z = 0 일 때 0.5 × 0.5 = 0.25 로 가장 큽니다. 그래서 w₁₀ = 1 이면 비율은 많아야 0.25 입니다.
  3. 층마다 한 번씩: × … × ∂h₂/∂h₁. h₁ 까지 9번 곱해 0.25⁹ ≈ 0.0000038 입니다.
  4. 완성: ∂L/∂w₁ = ∂L/∂h₁₀ × ∂h₁₀/∂h₉ × … × ∂h₂/∂h₁ × ∂h₁/∂w₁. 마지막 조각 ∂h₁/∂w₁ = σ′(z₁) × x 도 많아야 0.25 입니다. 모두 10번 곱해 0.25¹⁰ ≈ 0.00000095, 약 백만분의 1 입니다.

해 볼 것. 세 번 넘겨 ④ 에 오면 w₁ 막대가 9.54 × 10⁻⁷ 입니다. 마지막 층의 w₁₀ 이 받는 0.25 보다 2.62 × 10⁵ 배 작습니다. 위 실험의 처음(층 10, × 0.25)에서 1번 층 막대가 같은 9.54 × 10⁻⁷ 입니다.

3. 손으로: 0.25 와 1.5 를 거듭 곱하기

0.25 는 1/4 이라 0.25¹⁰ = 1 ÷ 4¹⁰ = 1 ÷ 1,048,576 입니다. 같은 10번이라도 1.5 를 곱하면 57 을 넘습니다.

곱한 횟수0.25 를 곱하면1.5 를 곱하면
10.251.5
20.06252.25
30.0156253.375
50.00097656257.59375
100.00000095367…57.665…

더하기였다면 10번 해도 2.5 와 15 입니다. 곱하기라서 층 수가 지수로 들어갑니다.

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
더하지 않고 곱한다층을 하나 늘릴 때마다 한 번 더 곱한다. 그래서 층 수가 지수로 들어간다층 수를 늘려 보기
앞쪽 층일수록 심하다출력에서 멀수록 곱하는 횟수가 많다. 마지막 층은 멀쩡한데 첫 층만 망가질 수 있다막대가 왼쪽으로 갈수록 길어진다
1 근처만 안전하다0.9 와 1.1 처럼 1 에서 조금 벗어나도 층이 많으면 크게 벌어진다해 볼 것 ④
비율 = 활성화 함수의 기울기 × 가중치고칠 곳이 둘이다. 활성화 함수(ReLU)와 가중치의 크기(초기화)2절 ②
소실은 조용하고 폭발은 시끄럽다소실은 오류 없이 학습이 느려질 뿐이라 놓치기 쉽다. 폭발은 loss 가 튀거나 NaN 이 되어 바로 보인다5절

5. 증상과 확인하는 법

짐작하지 말고 층마다 기울기 크기를 찍어 봅니다. 입력 쪽 층의 숫자가 출력 쪽보다 몇 자리씩 작으면 소실을, 갑자기 몇 자리씩 커지면 폭발을 의심합니다.

# PyTorch: backward() 뒤에 층마다 기울기의 크기(노름)를 찍는다
loss.backward()
for name, p in model.named_parameters():
    if p.grad is not None:
        print(name, p.grad.norm().item())

6. 고치는 법

자르기 전 (6, 8), 길이 10 × 0.5 자른 뒤 (3, 4), 길이 5 (−4, 2) 그대로 원의 반지름 = 정한 값 5
길이로 자르기. 지어낸 기울기 (6, 8) 의 길이는 √(6² + 8²) = 10 으로 정한 값 5 보다 깁니다. 그래서 5 ÷ 10 = 0.5 를 곱해 (3, 4) 로 줄입니다. 길이는 √(3² + 4²) = 5, 방향은 그대로입니다. 원 안의 (−4, 2) 는 길이가 √20 ≈ 4.47 로 5 보다 짧아 그대로 둡니다. 흐린 점선 = 자르기 전, 초록 = 자른 뒤, 파랑 = 원 안이라 그대로, 주황 점선 원 = 정한 값.

7. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
ReLU 계열 활성화양수 쪽 기울기가 1 이라 활성화 때문에는 줄지 않는다. 계산이 싸다음수 쪽 기울기가 0 이라 음수만 받는 뉴런은 더 배우지 못한다(죽은 ReLU)은닉층(hidden layer)의 기본값. 시그모이드·tanh 를 은닉층에 쓸 까닭이 없을 때
좋은 초기화(Xavier, He)학습 첫 스텝부터 층마다 크기가 크게 바뀌지 않는다. 비용이 없다처음만 맞춘다. 학습하며 가중치가 바뀌면 다시 흐트러질 수 있다늘. 활성화 함수에 맞춰 고른다(ReLU 는 He, 시그모이드·tanh 는 Xavier)
정규화 층(배치·층)층마다 값의 눈금을 다시 맞춘다. 큰 학습률을 쓰기 쉬워진다계산과 파라미터가 는다. 배치 정규화는 배치 크기에 기댄다깊은 합성곱 신경망(배치 정규화), 트랜스포머(층 정규화)
잔차 연결덧셈 길로 기울기가 × 1 로 지나가 아주 깊은 망도 학습된다더하는 두 값의 모양이 같아야 한다. 망의 짜임을 바꿔야 한다층이 많은 망. ResNet 같은 깊은 합성곱 신경망, 트랜스포머
그래디언트 클리핑폭발해도 한 스텝이 너무 커지지 않는다. 한 줄로 넣는다소실은 못 고친다. 자르는 값을 정해야 한다RNN, 트랜스포머처럼 기울기가 가끔 튀는 학습. loss 가 갑자기 튀거나 NaN 이 날 때

하나만 고르는 것이 아니라 보통 같이 씁니다. 활성화와 초기화는 늘 맞춰 두고, 층이 많으면 잔차 연결과 정규화 층을 더하고, 학습 중에 기울기가 튀면 그래디언트 클리핑을 넣습니다.

어디서 만나나

자주 묻는 것

ReLU 를 쓰면 기울기 소실이 사라지나요?

활성화 함수 때문에 줄어드는 몫은 사라집니다. ReLU 의 기울기는 양수 쪽에서 1 이기 때문입니다. 하지만 층의 비율은 활성화 함수의 기울기 × 가중치라서, 가중치가 작으면 여전히 줄어듭니다. 음수만 받는 뉴런은 기울기가 0 이라 더 배우지 못하기도 합니다. 그래서 좋은 초기화, 정규화 층, 잔차 연결과 같이 씁니다.

loss 가 NaN 이 되면 무엇부터 보나요?

층마다 기울기 크기를 찍어 봅니다. 기울기가 크게 튀었다면 학습률을 낮추고 그래디언트 클리핑을 넣습니다. 기울기가 멀쩡한데 NaN 이 나오면 log(0) 이나 0 으로 나누기 같은 계산, 입력 자료에 섞인 NaN 을 의심합니다.

그래디언트 클리핑으로 소실도 고칠 수 있나요?

아닙니다. 그래디언트 클리핑은 정한 크기보다 큰 기울기를 줄이기만 하고, 작은 기울기를 키우지 않습니다. 소실은 ReLU, 좋은 초기화, 정규화 층, 잔차 연결로 다룹니다.

낱말

여기서 쓴 말책에서 부르는 말
기울기가 0 에 가까워짐기울기 소실(vanishing gradient)
기울기가 아주 커짐기울기 폭발(exploding gradient)
층의 비율국소 기울기(local gradient). 값이 여럿이면 야코비 행렬(Jacobian)
거슬러 가며 곱하기연쇄 법칙(chain rule), 역전파(backpropagation)
함수의 납작한 끝포화(saturation)
들어오는 값의 수, 나가는 값의 수fan-in, fan-out
Xavier 초기화, He 초기화Glorot 초기화(Xavier initialization), Kaiming 초기화(He initialization)
입력을 그대로 더하는 길잔차 연결, 건너뛰기 연결(residual connection, skip connection)
기울기 자르기그래디언트 클리핑(gradient clipping). 길이로 자르면 clipping by norm
기울기 전체의 길이노름(norm)
숫자가 아님, 무한대NaN(not a number), inf(infinity)
음수만 받아 멈춘 ReLU죽은 ReLU(dying ReLU)

출처

← 활성화 함수가중치 초기화 →