가중치 초기화: Xavier 와 He

신경망은 학습을 시작하기 전에 가중치를 어떤 값으로든 채워 둬야 합니다. 이 처음 값의 크기가 조금만 어긋나도, 층을 열 개 지나는 동안 값이 0 으로 사라지거나 수천으로 터집니다. 막대를 움직여 보고, 알맞은 크기를 정하는 식이 어떻게 나오는지 따라가 보세요.

한 줄 답. 가중치 초기화는 학습 전 가중치를 무작위로 뽑되, 그 퍼짐을 뉴런(neuron) 수에 맞추는 일입니다. 뉴런 하나는 앞 층의 값 n 개에 가중치를 곱해 더하므로 분산이 n · Var(w) 배가 됩니다. 이 배수를 1 로 맞추면 Var(w) = 1 ÷ n(Xavier, tanh·sigmoid 용)이고, ReLU 는 값의 절반을 0 으로 끄므로 두 배인 Var(w) = 2 ÷ n(He)입니다. 모두 0 처럼 같은 값으로 시작하면 뉴런들이 똑같이 움직여 배우지 못합니다.

막대나 숫자 칸으로 σ 를 0 ~ 0.3 에서 고칩니다. 뉴런 n = 100 개짜리 층 10 개에 무작위 입력 50 개를 넣고, 층마다 나온 값 5000 개의 표준편차를 막대로 그립니다. 편향은 0 입니다. 입력과 가중치는 고정 시드(seed)로 지어낸 표준 정규분포이고 가중치에 σ 를 곱해 쓰므로, 쪽을 열 때마다 같은 막대가 나옵니다. 학습은 하지 않고 처음 값이 층을 지나는 모습만 보는 작게 줄인 본보기입니다. 진짜 망은 뉴런이 훨씬 많고, 학습하면서 가중치가 바뀝니다.

1. 가중치 초기화란

신경망의 층에서 뉴런 하나는 앞 층의 값 x₁ … xₙ 에 가중치 w₁ … wₙ 을 곱해 더하고(z = w₁x₁ + … + wₙxₙ), 그 z 를 활성화 함수(tanh, ReLU 같은 굽은 함수)에 넣어 다음 층에 넘깁니다. 학습은 이 가중치를 조금씩 고치는 일인데, 고치려면 먼저 어떤 값이든 있어야 합니다. 그 첫 값을 정하는 것이 가중치 초기화입니다.

정할 것은 둘입니다. ① 무작위로 뽑을 것(2절), ② 얼마나 퍼지게 뽑을 것(3절, 4절). 둘째가 Xavier 와 He 의 몫입니다. 둘 다 평균 0 인 분포에서 뽑고, 분산 Var(w) 를 들어오는 뉴런 수 n 에 맞춰 정합니다.

2. 모두 0 이면 왜 안 되나: 대칭

입력 둘, 은닉 뉴런(hidden neuron) 둘, 출력 하나인 작은 망에서 가중치를 모두 0.5 로 두고 입력 (1, 2) 를 넣어 봅니다.

  1. 은닉 뉴런 1: 0.5 × 1 + 0.5 × 2 = 1.5. 은닉 뉴런 2: 0.5 × 1 + 0.5 × 2 = 1.5. 같은 값입니다.
  2. 출력은 두 뉴런에 같은 가중치 0.5 를 곱해 더합니다. 그래서 오차를 거꾸로 나눠 줄 때(역전파) 두 뉴런이 받는 기울기(그래디언트)도 같습니다.
  3. 같은 기울기로 같은 만큼 고치니, 고친 뒤에도 두 뉴런의 가중치는 같습니다. 다음 스텝(step)도, 그다음 스텝도 마찬가지입니다.

뉴런을 몇 개 두든 뉴런 하나 몫만 합니다. 이것을 대칭 문제라고 부릅니다. 모두 0 이면 더 나쁩니다. tanh(0) = 0, ReLU(0) = 0 이라 은닉 뉴런의 값이 0 이고, 뒤 가중치도 0 이라 앞 가중치로 가는 기울기도 0 입니다. 가중치는 0 에 머물고 맨 끝의 편향만 움직입니다. 그래서 가중치는 무작위로 뽑습니다. 뉴런마다 다른 값에서 출발해야 다른 것을 배웁니다. 편향은 가중치가 이미 대칭을 깨므로 0 으로 시작해도 됩니다.

3. 너무 작으면 사라지고, 너무 크면 터진다

무작위로 뽑는다고 끝이 아닙니다. 층 하나를 지날 때마다 값의 퍼짐(표준편차)이 일정한 배수만큼 곱해지기 때문입니다. 배수가 0.5 면 10 층 뒤에 0.5¹⁰ ≈ 0.001 배로 사라지고, 2 면 2¹⁰ = 1024 배로 터집니다. 위 실험의 막대가 이 배수를 보여 줍니다.

해 볼 것. ① 처음 화면(tanh, σ = 0.05)에서 막대가 1 → 0.41 → 0.2 → 0.097 로 층마다 절반쯤이 되고, 10 층에서 0.00075 입니다. n·σ² = 100 × 0.0025 = 0.25 라 표준편차는 √0.25 = 0.5 배씩입니다. ② 「Xavier」를 누르면 1 → 0.62 → 0.48 → … → 0.23 으로 천천히 줄지만 사라지지 않습니다. tanh 가 0 에서 먼 값을 눌러 줄이기 때문에 조금씩은 줍니다. ③ σ 를 0.3 으로 올리면 막대가 0.84 에서 멈추고, 마지막 층 값의 28.08% 가 ±0.99 밖에 붙습니다. ④ ReLU 로 바꾸고 「Xavier」를 누르면 10 층에서 0.024 입니다(층마다 √0.5 ≈ 0.71 배). 「He」를 누르면 층 1 ~ 10 이 0.71 ~ 1 사이에 머물고 마지막은 0.77 입니다. ⑤ ReLU 에서 σ 를 0.3 으로 올리면 층마다 약 2.12 배씩 커져 10 층에서 1417 입니다. ⑥ σ 를 0 으로 두면 층 1 부터 모두 0 입니다.

4. 식이 만들어지는 과정

층을 지나도 퍼짐이 그대로이려면 가중치를 얼마나 퍼지게 뽑아야 할까요. 위 실험과 같은 입력(평균 0, 표준편차 1 인 값 100 개짜리 50 개)과 같은 가중치로 다음 층의 값 z 하나가 어떻게 퍼지는지 봅니다.

  1. 다음 층의 값 하나: z = w₁x₁ + w₂x₂ + … + wₙxₙ. 여기서 n = 100 입니다. x 는 평균 0, 표준편차 1 로 퍼져 있습니다(회색 모양).
  2. 분산이 더해진다: Var(z) = n · Var(w) · Var(x). 두 가지를 씁니다. 가중치 w 가 평균 0 이고 x 와 서로 독립이면 곱 하나의 분산은 Var(w) · Var(x) 입니다(x 의 평균도 0 일 때). 그리고 서로 독립인 것을 더하면 분산도 더해집니다. 곱 n 개를 더하니 n 배입니다. 까닭: 가중치를 표준편차 1 로 뽑으면 z 의 분산은 100, 표준편차는 10 이 되어 그림 밖까지 퍼집니다. 층마다 10 배씩이면 3절처럼 터집니다.
  3. 같게 맞추기: n · Var(w) = 1 → Var(w) = 1 ÷ n. n = 100 이면 Var(w) = 0.01, 표준편차 0.1 입니다. 그러면 z 의 퍼짐이 x 와 같습니다. tanh 와 sigmoid 는 0 근처에서 거의 곧은 선이라, 값이 작은 동안에는 이 퍼짐을 다음 층에 그대로 넘깁니다. Xavier(Glorot) 논문은 앞으로 가는 값(들어오는 뉴런 수 n_in 을 씀)과 뒤로 가는 기울기(나가는 뉴런 수 n_out 을 씀)를 둘 다 지키려고 둘 사이를 잡은 Var(w) = 2 ÷ (n_in + n_out) 을 골랐습니다. 이 실험처럼 층의 폭이 같으면 1 ÷ n 입니다.
  4. ReLU 는 절반이 꺼진다: Var(z₂) = n · Var(w) · ½ · Var(z₁) → Var(w) = 2 ÷ n. ReLU 는 음수를 0 으로 만듭니다. z₁ 이 0 을 가운데로 고르게 퍼져 있으면 절반이 0 이 되고, 남은 값들의 제곱 평균은 z₁ 분산의 절반입니다. 곱의 분산 식에서 x 자리에는 정확히 「x² 의 평균」이 들어가므로(ReLU 뒤의 값은 평균이 0 이 아니라 분산과 다릅니다) ½ 이 붙습니다. 이것을 1 로 맞추면 Var(w) = 2 ÷ n, 곧 He 초기화입니다. n = 100 이면 표준편차 √0.02 ≈ 0.141 입니다.

해 볼 것. ① 첫 단계의 회색 모양은 표준편차 1 입니다. ② 「다음」을 누르면 가중치를 표준편차 1 로 뽑은 z 가 표준편차 10 으로 납작하게 퍼집니다. 식 √(100 × 1 × 1) = 10 과 같습니다. ③ 한 번 더 누르면 표준편차 0.1 로 뽑은 z 가 1 로, 회색 모양과 겹칩니다. ④ 마지막 단계에서 z₁ 의 49.34% 가 ReLU 에서 0 이 되고, 다음 층은 1 ÷ n 이면 0.7(√½ ≈ 0.71 과 같은 크기), 2 ÷ n 이면 0.99 입니다.

5. 손으로 따라가기: 층 10 개

n = 100, 들어온 값의 분산 1 로 두고, 4절의 식으로 한 층을 지난 분산과 10 층을 지난 표준편차를 셉니다. 값이 0 근처에 있다고 보고 tanh 는 곧은 선으로 셉니다.

처음 가중치한 층을 지나면 분산표준편차의 층마다 배수10 층 뒤(식)실험의 10 층
Var(w) = 1(σ = 1)100 × 1 × 1 = 1001010¹⁰ 배막대 범위(0.3 까지) 밖. tanh 라면 ±1 에 붙는다
Var(w) = 0.0025(σ = 0.05), tanh100 × 0.0025 = 0.250.50.5¹⁰ ≈ 0.0010.00075
Var(w) = 0.01(Xavier), tanh100 × 0.01 = 1110.23
Var(w) = 0.01(Xavier), ReLU100 × 0.01 × ½ = 0.5√0.5 ≈ 0.710.71¹⁰ ≈ 0.030.024
Var(w) = 0.02(He), ReLU100 × 0.02 × ½ = 1110.77

식과 실험의 숫자가 조금 다른 까닭은 셋입니다. tanh 는 0 에서 먼 값을 눌러 줄입니다(Xavier + tanh 가 1 이 아니라 0.23 으로 천천히 주는 까닭). 막대는 ReLU 를 지난 뒤의 값이라 ReLU 앞의 z 보다 퍼짐이 작습니다. 뉴런이 100 개뿐이라 무작위로 흔들립니다. 그래도 사라지는지, 터지는지, 머무는지는 식이 맞힙니다.

6. 꼭 알아야 할 성질

성질쉬운 말실험에서
배수가 층마다 곱해진다한 층에서 조금 어긋나도 층이 깊으면 거듭제곱으로 커진다. 깊은 망일수록 초기화가 중요하다σ = 0.05 의 막대가 층마다 절반
무작위여야 한다같은 값에서 출발한 뉴런은 끝까지 같다(대칭)σ = 0 이면 층 1 부터 0
크기는 뉴런 수에 맞춘다들어오는 뉴런 n 이 4 배가 되면 표준편차는 절반으로. 같은 0.01 이라도 뉴런 수에 따라 맞기도 틀리기도 한다n = 100 이라 Xavier 가 0.1
활성화 함수에 따라 다르다ReLU 는 절반을 끄므로 분산을 두 배로. tanh 는 큰 값을 눌러 줄인다ReLU + Xavier 는 0.024, ReLU + He 는 0.77
출발점일 뿐이다학습이 시작되면 가중치는 바뀐다. 첫 스텝들이 망가지지 않게 하는 것이 몫이다이 실험은 학습하지 않는다

7. 프레임워크의 기본값

import torch.nn as nn
layer = nn.Linear(100, 100)
nn.init.kaiming_normal_(layer.weight, nonlinearity="relu")   # He: 표준편차 √(2 ÷ 100) ≈ 0.141
# tanh 층이라면: nn.init.xavier_normal_(layer.weight, gain=nn.init.calculate_gain("tanh"))
nn.init.zeros_(layer.bias)                                     # 편향은 0 으로 시작해도 된다

8. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
모두 0(또는 모두 같은 값)간단하다뉴런들이 쌍둥이로 남아 배우지 못한다(2절)가중치에는 쓰지 않는다. 편향은 0 으로 둬도 된다
작은 고정 크기(예: σ = 0.01)얕은 망에서는 돈다뉴런 수와 층 수를 보지 않아 깊으면 값이 사라진다층이 몇 개 없는 작은 망. 새로 짤 때는 아래 둘을 쓴다
Xavier(Glorot): Var(w) = 2 ÷ (n_in + n_out)앞으로 가는 값과 뒤로 가는 기울기를 함께 맞춘다ReLU 에서는 층마다 √½ 배로 줄어든다(실험 10 층 0.024)tanh, sigmoid, 활성화 없는 선형 층. Keras Dense 의 기본
He(Kaiming): Var(w) = 2 ÷ n_inReLU 를 지나도 퍼짐이 유지된다ReLU 를 전제로 만든 식이라 다른 활성화에는 근거가 없다ReLU 와 그 계열을 쓰는 층, 합성곱 신경망
프레임워크 기본값아무것도 안 해도 된다무엇인지 모르고 쓰게 된다. PyTorch nn.Linear 는 1 ÷ (3n) 으로 작다얕은 망, 정규화 층이 층마다 퍼짐을 다시 맞추는 망. 깊게 쌓으면 위 둘 가운데 직접 고른다

어디에 쓰나

자주 묻는 것

모두 같은 값으로 시작하면 왜 안 되나요?

같은 층의 뉴런들이 같은 입력을 받아 같은 값을 내고, 같은 기울기를 받아 같은 만큼 바뀝니다. 학습이 끝날 때까지 쌍둥이로 남아 뉴런 여러 개가 뉴런 하나 몫만 합니다. 무작위로 뽑아야 뉴런마다 다른 것을 배웁니다.

정규분포와 균등분포 가운데 무엇으로 뽑나요?

식이 맞추는 것은 분산이라, 분산만 같으면 둘 다 같은 몫을 합니다. −a ~ a 의 균등분포는 분산이 a² ÷ 3 이므로, 분산을 2 ÷ (n_in + n_out) 으로 맞추려면 a = √(6 ÷ (n_in + n_out)) 입니다. PyTorch 는 xavier_uniform_ 과 xavier_normal_ 처럼 둘 다 함수를 줍니다.

편향(bias)도 무작위로 뽑아야 하나요?

아닙니다. 가중치가 무작위면 대칭은 이미 깨지므로 편향은 0 으로 시작해도 됩니다. PyTorch 의 nn.Linear 는 편향도 가중치와 같은 균등분포에서 뽑고, 0 으로 두려면 nn.init.zeros_ 를 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
처음 가중치 정하기가중치 초기화(weight initialization)
층 안의 한 칸뉴런(neuron), 유닛(unit)
들어오는 뉴런 수 n, 나가는 뉴런 수fan-in(n_in), fan-out(n_out)
퍼진 정도분산(variance), 표준편차(standard deviation, σ)
뉴런들이 쌍둥이로 남음, 그것을 막기대칭(symmetry), 대칭 깨기(symmetry breaking)
값과 기울기가 사라짐, 터짐기울기 소실(vanishing gradient), 기울기 폭발(exploding gradient)
±1 에 붙음포화(saturation)
XavierGlorot 초기화, Xavier 초기화(Glorot initialization)
HeHe 초기화, Kaiming 초기화(He initialization)
활성화에 맞춰 곱하는 배율gain
굽은 함수활성화 함수(activation function): tanh, sigmoid, ReLU
더하는 상수편향(bias)
고르게 퍼진 분포균등분포(uniform distribution)

출처

← 기울기 소실과 폭발학습률 스케줄 →