정규화와 표준화: 평균 0, 분산 1 로 맞추기

키는 cm 로 적으면 170 쯤이고, 몸무게는 kg 로 60 쯤이고, 연봉은 원으로 적으면 수천만입니다. 숫자의 눈금이 제각각이면 모델이 큰 숫자에 끌려갑니다. 평균을 빼면 점들이 어디로 옮겨 가고, 표준편차로 나누면 어떻게 줄어드는지 한 단계씩 보며 식을 완성해 보세요.

한 줄 답. 정규화(표준화)는 숫자들의 눈금을 맞추는 일입니다. 평균을 빼서 가운데를 0 으로 옮기고, 표준편차로 나눠 퍼진 정도를 1 로 맞춥니다: x̂ = (x − E[x]) ÷ √Var[x]. 그러면 단위가 다른 값들을 같은 잣대로 다룰 수 있고, 신경망 학습이 빠르고 안정해집니다. 신경망의 층 사이에서 이 일을 하는 것이 배치 정규화와 레이어 정규화입니다.

x⁽¹⁾x⁽²⁾
평균
분산
표준편차
공분산
상관계수

( , )

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 점들이 그만큼 옮겨 가거나 줄어들고, 아래에 까닭이 나옵니다. 보라 타원은 분포의 등고선(안쪽 실선이 1 표준편차, 바깥 점선이 2 표준편차), 초록·파랑 화살표는 가로·세로 표준편차 σ₁, σ₂, 주황 십자는 평균입니다. 점은 ① 단계에서 끌 수 있고, 숫자 칸은 어느 단계에서나 고른 점의 원래 값을 고칩니다. 표의 숫자는 지금 단계의 점들로 잽니다. 점은 고정 시드(seed) 난수기로 지어낸 20개라 쪽을 열 때마다 같습니다.

1. 정규화란: 특징 스케일링

자료 하나에 숫자가 여럿 있을 때가 많습니다. 사람 한 명을 키, 몸무게, 연봉으로 적는 식입니다. 이 숫자 하나하나를 입력(또는 특징)이라고 부릅니다. 입력마다 단위와 크기가 다르면, 같은 「1 차이」가 입력마다 전혀 다른 뜻이 됩니다. 키 1 cm 와 연봉 1 원은 비교할 수 없습니다.

정규화는 입력마다 눈금을 다시 매겨 같은 잣대로 만드는 일입니다. 가장 많이 쓰는 방법이 표준화입니다. 입력마다 평균을 빼고 표준편차로 나눕니다. 그러면 어느 입력이든 평균 0, 분산 1 이 되고 단위가 사라집니다. 결과의 숫자는 「평균에서 표준편차 몇 개만큼 떨어져 있나」를 뜻합니다.

「정규화」라는 말이 여러 뜻으로 쓰인다

한국어로는 아래가 모두 「정규화」로 불려 헷갈립니다. 이 쪽은 첫 줄의 뜻입니다.

영어하는 일더 보기
normalization, standardization입력마다 눈금을 맞춘다. 평균 0·분산 1(표준화) 또는 0 ~ 1(최소-최대)이 쪽
normalization(벡터의 길이)벡터 하나를 자기 길이로 나눠 길이를 1 로 만든다. 방향만 남는다내적
regularization모델의 가중치가 커지는 것에 벌점을 줘 과적합을 막는다. 자료가 아니라 모델을 건드린다과적합
normal distribution(정규분포)종 모양 분포의 이름. 이름만 닮았다. 표준화해도 정규분포가 되지는 않는다정규분포

2. 식이 만들어지는 과정

위 실험의 점 하나는 자료 하나이고, 가로가 첫째 입력 x⁽¹⁾, 세로가 둘째 입력 x⁽²⁾ 입니다. 식의 기호는 이렇습니다. E[x] 는 x 의 평균(기댓값, expectation), Var[x] 는 x 의 분산(variance), √Var[x] 는 표준편차입니다. 식은 입력마다 따로 씁니다. x⁽¹⁾ 은 x⁽¹⁾ 끼리의 평균과 분산으로, x⁽²⁾ 는 x⁽²⁾ 끼리의 평균과 분산으로 맞춥니다. 분산은 확률분포 쪽처럼 평균까지 거리의 제곱을 값의 수 n 으로 나눈 것입니다.

  1. 처음: x. 아무것도 하지 않은 자료입니다. 구름이 원점에서 떨어져 있고, 가로로 퍼진 정도(1.64)와 세로로 퍼진 정도(0.6)가 다릅니다.
  2. 평균 빼기: x − E[x]. 모든 점에서 평균 (1.74, 1.31) 을 뺍니다. 구름 전체가 그만큼 옮겨 가 평균이 원점에 옵니다. 점끼리의 거리는 그대로라 모양, 분산, 공분산이 바뀌지 않습니다. 까닭: 가운데를 0 으로 맞춰야 값이 양수와 음수로 고르게 나오고, 부호만 보고 평균보다 큰지 작은지 알 수 있습니다.
  3. 표준편차로 나누기: (x − E[x]) ÷ √Var[x]. x⁽¹⁾ 은 1.64 로, x⁽²⁾ 는 0.6 으로 나눕니다. 축마다 따로 줄이거나 늘여서 가로·세로로 퍼진 정도가 모두 1 이 됩니다. 까닭: 분산은 거리를 제곱해 만들어서 단위도 제곱입니다(키가 cm 면 분산은 cm²). 제곱근을 낸 표준편차가 원래 단위(cm)라서, cm 를 cm 로 나눠야 단위가 지워집니다. 분산으로 나누면 1/cm 이 남고, 퍼짐이 1 이 아니라 1 ÷ 표준편차 가 됩니다.
  4. 완성: x̂ = (x − E[x]) ÷ √Var[x]. x̂ 는 「엑스 햇」이라고 읽고, 맞춘 뒤의 값이라는 뜻입니다. 평균 (0, 0), 분산 (1, 1) 입니다. 그런데 구름은 아직 기울어 있습니다. 입력마다 따로 맞췄을 뿐, 두 입력이 같이 움직이는 관계(상관)는 건드리지 않았기 때문입니다. 남은 공분산 0.74 는 처음 자료의 상관계수 0.74 와 같습니다. 상관계수가 바로 공분산 ÷ (표준편차 × 표준편차), 곧 표준화한 뒤의 공분산이기 때문입니다. 이 식을 설명하는 그림에서 오른쪽 구름이 둥글지 않고 비스듬히 그려지는 것도 이 때문입니다.
  5. 더 나아가기, 화이트닝: x̃ = Uᵀ x̂ ÷ √λ. 상관까지 없애려면 구름을 돌려야 합니다. 가장 넓게 퍼진 방향(주성분, 여기서는 45°)이 가로가 되게 돌리고(Uᵀ), 방향마다 그 방향의 표준편차(1.32, 0.51)로 나눕니다(√λ, λ 는 그 방향의 분산). 그러면 공분산도 0 이 되어 완전히 둥근 구름이 됩니다. 이것은 표준화와 다른 일입니다. 새 축이 두 입력을 섞은 것이라 「x⁽¹⁾ 이 얼마」라는 뜻이 사라지고, 입력이 d 개면 d × d 공분산 행렬을 다뤄야 해서 계산이 큽니다.

단계마다 표의 숫자는 이렇게 바뀝니다(처음 자료).

단계식평균분산공분산상관계수
① 처음x(1.74, 1.31)(2.69, 0.36)0.730.74
② 평균 빼기x − E[x](0, 0)(2.69, 0.36)0.730.74
③·④ 나누기, 완성(x − E[x]) ÷ √Var[x](0, 0)(1, 1)0.740.74
⑤ 화이트닝Uᵀ x̂ ÷ √λ(0, 0)(1, 1)00

이 식은 배치 정규화 논문(출처)의 3절에 그대로 나옵니다. 논문은 층에 들어오는 입력을 화이트닝하면 학습이 빨라진다는 것이 오래전부터 알려져 있지만 전부 화이트닝하기는 비싸다고 적고, 대신 입력마다 따로 평균 0, 분산 1 로 맞추는 이 식을 골랐습니다. ④ 까지가 그 식이고, ⑤ 는 논문이 비싸서 하지 않은 쪽입니다.

해 볼 것. ① 처음 표는 평균 (1.74, 1.31), 표준편차 1.64 와 0.6, 공분산 0.73, 상관계수 0.74 입니다. ② 「다음」을 누르면 구름이 원점으로 옮겨 가고 평균만 (0, 0) 이 됩니다. 분산 2.69, 0.36 과 공분산 0.73 은 그대로입니다. ③ 한 번 더 누르면 분산이 (1, 1) 이 됩니다. 여기서 「분산으로 나누면?」을 누르면 표준편차가 0.61 과 1.67 이 됩니다. 가로는 너무 줄고 세로는 너무 늘어납니다(1 ÷ 1.64 ≈ 0.61, 1 ÷ 0.6 ≈ 1.67). ④ 한 번 더 누르면 식에 x̂ = 가 붙고, 주황 점선이 남은 기울기를 보여 줍니다. 공분산 0.74 가 처음의 상관계수와 같습니다. 상관계수는 ① ~ ④ 내내 0.74 입니다. ⑤ 마지막 단계에서 공분산과 상관계수가 0 이 되고, 보라 타원이 반지름 1 인 원에 겹칩니다. ⑥ 「처음으로」 돌아가 점 하나를 멀리 끌고 다시 넘겨 보세요. 자료가 바뀌어도 ④ 의 평균 0, 분산 1 은 그대로입니다.

3. 숫자 한 줄로: 손으로 풀어 보기

입력이 하나면 점들이 수직선 위에 놓입니다. 숫자 다섯 개 2, 4, 5, 6, 8 을 표준화해 봅니다(확률분포 쪽의 손 예제와 같은 숫자입니다).

  1. 평균. (2 + 4 + 5 + 6 + 8) ÷ 5 = 25 ÷ 5 = 5.
  2. 평균 빼기. −3, −1, 0, 1, 3. 가운데가 0 으로 옮겨 갔습니다.
  3. 분산과 표준편차. 뺀 값을 제곱해 평균 냅니다. (9 + 1 + 0 + 1 + 9) ÷ 5 = 20 ÷ 5 = 4. 표준편차는 √4 = 2.
  4. 표준편차로 나누기. −3 ÷ 2 = −1.5, −0.5, 0, 0.5, 1.5. 이것이 z 점수입니다.
  5. 확인. 새 값들의 평균은 (−1.5 − 0.5 + 0 + 0.5 + 1.5) ÷ 5 = 0, 분산은 (2.25 + 0.25 + 0 + 0.25 + 2.25) ÷ 5 = 5 ÷ 5 = 1.
xx − 평균(x − 평균)²z = (x − 평균) ÷ 표준편차
2−39−1.5
4−11−0.5
5000
6110.5
8391.5
합 ÷ 504 (분산)평균 0, 분산 1

z 점수는 「평균보다 표준편차 몇 개만큼 크거나 작은가」입니다. 8 의 z 점수 1.5 는 평균보다 표준편차 1.5 개만큼 크다는 뜻입니다. 단위가 없어서, 반이 다른 두 시험의 점수처럼 눈금이 다른 숫자끼리도 비교할 수 있습니다.

번호원래 값 xx − 평균÷ 표준편차 = z

맨 위 줄의 점을 좌우로 끌거나, 값을 고르고 숫자를 고쳐 보세요(0 ~ 10). 가운데 줄은 맨 위 줄을 평균만큼 왼쪽으로 옮긴 것이고, 아래 줄은 가운데 줄을 표준편차로 나눠 줄인 것입니다. 초록 띠의 폭이 아래 줄에서 늘 −1 ~ 1 인 것을 보세요.

해 볼 것. ① 5번 값 8 을 10 으로 바꾸면 평균 5.4, 분산 7.04, 표준편차 2.65 가 되고, z 점수는 −1.28, −0.53, −0.15, 0.23, 1.73 입니다. 값 하나가 멀어지자 나머지의 z 점수가 모두 조금씩 왼쪽으로 갔습니다. ② 다섯 값을 모두 5 로 맞추면 표준편차가 0 이라 나눌 수 없습니다. 이 쪽은 평균만 빼서 z 점수가 모두 0 입니다(scikit-learn 의 StandardScaler 도 표준편차가 0 이면 나누지 않습니다).

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
결과는 평균 0, 분산 1어느 입력이든 같은 잣대가 된다. 단위가 사라진다③ 단계의 표
모양과 순서는 그대로옮기고 늘이거나 줄이기만 한다. 치우친 분포는 치우친 채로, 큰 값은 큰 값으로 남는다. 정규분포가 되지 않는다구름의 모양, 아래 줄의 점 순서
상관은 그대로입력마다 따로 맞추므로 두 입력이 같이 움직이는 정도는 남는다. 표준화한 뒤의 공분산이 곧 상관계수다④ 단계의 기울기, 공분산 0.74
평균과 표준편차가 이상치(outlier)에 끌려간다멀리 떨어진 값 하나가 평균을 옮기고 표준편차를 키워 나머지를 좁게 만든다3절의 해 볼 것 ①, 6절
자료가 바뀌면 결과도 바뀐다같은 값이라도 어느 자료의 평균·표준편차로 맞췄는지에 따라 다른 숫자가 된다. 그래서 훈련 자료의 숫자를 저장해 두고 쓴다7절

이 쪽의 분산은 값의 수 n 으로 나눕니다. scikit-learn 의 StandardScaler 와 배치 정규화가 배치 안에서 구하는 분산도 n 으로 나눕니다. n − 1 로 나누면(표본 분산) 표준편차가 조금 커지고 결과의 분산이 1 보다 조금 작아질 뿐, 하는 일은 같습니다.

5. 왜 맞추나

단위가 다른 입력

두 사람의 차이를 거리로 잰다고 합시다. 키가 10 cm 다르고 연봉이 100만 원 다르면, 그대로 잰 거리는 거의 1,000,000 이고 키의 10 은 묻힙니다. 연봉을 만 원 단위로 적기만 해도 답이 달라집니다. 단위를 고르는 방식이 결과를 정하면 안 되니, 입력마다 표준화해서 「평균에서 표준편차 몇 개」로 바꾼 뒤에 잽니다. 가까운 이웃을 찾는 방법(k-최근접 이웃), 무리 나누기(k-평균), 주성분 분석처럼 거리나 분산을 쓰는 방법이 모두 이렇습니다.

경사 하강법: 길쭉한 그릇과 둥근 그릇

모델은 손실(틀린 정도)이 가장 낮은 곳을 경사 하강법으로 찾아 내려갑니다. 입력의 눈금이 다르면 손실의 그릇이 한쪽으로 길쭉해집니다. 경사 하강법은 늘 가장 가파른 쪽으로 걷는데, 길쭉한 그릇에서는 가장 가파른 쪽이 바닥을 가리키지 않고 좁은 골의 벽을 가리킵니다. 그래서 골을 이쪽저쪽 오가며 느리게 내려가고, 걸음을 키우면 좁은 쪽에서 튀어 나갑니다. 눈금을 맞추면 그릇이 둥글어져 가장 가파른 쪽이 곧 바닥 쪽이 됩니다.

눈금이 다를 때. 그릇이 길쭉해 걸음마다 골을 가로지르며 오갑니다.
눈금을 맞춘 뒤. 그릇이 둥글어 가장 가파른 쪽이 곧 바닥 쪽입니다.

그릇이 얼마나 길쭉한지는 그릇의 굽은 정도를 모은 표인 헤세 행렬이 말해 줍니다. 평균을 뺀 입력으로 선형 회귀를 하고 제곱 오차의 평균을 손실로 쓰면, 가중치에 대한 헤세 행렬은 입력의 공분산 행렬의 2 배입니다. 그래서 실험 ① 의 자료로 가장 많이 굽은 방향과 가장 덜 굽은 방향의 비를 재면 평균만 뺐을 때 19.4, 표준화한 뒤 6.75, 화이트닝한 뒤 1 입니다. 표준화로 많이 둥글어지지만, 상관이 남아 있으면 완전히 둥글지는 않습니다.

6. 다른 맞추는 법: 최소-최대, 중앙값과 사분위 범위

방법식결과의 범위이상치가 하나 있으면
최소-최대(x − 최솟값) ÷ (최댓값 − 최솟값)늘 0 ~ 1이상치가 끝(1)을 차지하고 나머지는 0 근처에 몰린다
표준화(z 점수)(x − 평균) ÷ 표준편차정해져 있지 않다평균과 표준편차가 끌려가 나머지가 좁아진다
중앙값과 사분위 범위(x − 중앙값) ÷ (Q3 − Q1)정해져 있지 않다가운데 절반만 보므로 거의 흔들리지 않는다

중앙값은 작은 것부터 늘어놓았을 때 한가운데 값입니다. 사분위 범위(IQR)는 25% 자리의 값(Q1)과 75% 자리의 값(Q3)의 차이, 곧 가운데 절반이 퍼진 폭입니다. 자리가 값 사이에 걸리면 두 값 사이를 직선으로 잇습니다(numpy 의 기본 방식). 끝에 있는 값 몇 개가 아무리 멀어도 가운데 절반은 그대로라서 이상치에 강합니다. scikit-learn 에서는 MinMaxScaler, StandardScaler, RobustScaler 가 이 셋입니다.

맨 위 줄을 누르거나 끌면 이상치가 옮겨 갑니다. 막대와 숫자 칸으로도 바꿀 수 있습니다. 보통 값 일곱은 3, 4, 5, 5, 6, 7, 8 입니다. 아래 세 줄은 같은 눈금(−3 ~ 3)이라 폭을 바로 비교할 수 있고, 눈금 밖으로 나간 이상치는 가장자리에 삼각형으로 표시합니다. 맨 위 결과 줄의 옅은 파란 칸이 최소-최대가 내보내는 0 ~ 1 입니다.

해 볼 것. ① 처음(이상치 9)에는 나머지 일곱이 최소-최대로 0 ~ 0.83, 표준화로 −1.51 ~ 1.12, 중앙값과 사분위 범위로 −1 ~ 1 에 놓입니다. ② 이상치를 60 까지 끌면 최소-최대는 나머지가 0 ~ 0.09 의 좁은 띠에 몰립니다(폭 0.83 → 0.09). 표준화도 −0.51 ~ −0.23 으로 좁아집니다(폭 2.63 → 0.28). 같은 눈금에서 표준화의 폭이 최소-최대의 세 배쯤이라 덜 몰리지만, 이상치가 멀어질수록 둘 다 계속 좁아집니다. ③ 중앙값과 사분위 범위는 나머지가 −1 ~ 1(폭 2)에서 움직이지 않고, 이상치만 21.8 로 멀리 갑니다. 이상치가 멀리 있다는 사실도 그대로 남습니다.

이상치가 측정 실수라면 맞추기 전에 고치거나 빼는 것이 먼저입니다. 진짜 값이라면 중앙값과 사분위 범위로 맞추거나, 값이 넓게 퍼진 금액 같은 숫자는 로그를 씌워 먼저 퍼짐을 줄이기도 합니다.

7. 훈련 자료의 평균으로 시험 자료도 맞춘다

평균과 표준편차는 훈련 자료에서만 구해 저장하고, 시험 자료와 실제로 쓸 때 들어오는 입력에도 그 숫자를 그대로 씁니다. 모델은 「훈련 자료의 눈금으로 맞춘 숫자」를 배웠기 때문입니다.

# scikit-learn: fit 은 훈련 자료에만, transform 은 둘 다에
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
x_train_scaled = scaler.fit_transform(x_train)   # 훈련 자료로 평균·표준편차를 구하고 바꾼다
x_test_scaled = scaler.transform(x_test)         # 저장한 평균·표준편차로 바꾼다(다시 구하지 않는다)

교차 검증을 할 때는 맞추는 단계와 모델을 파이프라인(Pipeline) 하나로 묶으면, 나눌 때마다 훈련 쪽으로만 평균과 표준편차를 다시 구해 줍니다.

8. 신경망 안에서: 배치 정규화

입력을 맞춰 넣어도, 신경망의 층을 지나면 값들의 눈금이 다시 흩어집니다. 게다가 앞 층의 가중치가 학습하며 바뀌면 뒤 층이 받는 값의 분포도 계속 바뀝니다. 배치 정규화는 층 사이에서 같은 표준화를 합니다. 다만 학습은 자료 전체가 아니라 작은 묶음(미니배치, 예를 들어 자료 32 개)씩 하므로, 평균과 분산도 그 배치 안에서 구합니다. 뉴런 하나(특징 하나)마다 따로 합니다.

μ_B  = (x₁ + x₂ + … + x_m) ÷ m                       배치의 평균
σ²_B = ((x₁ − μ_B)² + … + (x_m − μ_B)²) ÷ m           배치의 분산
x̂ᵢ   = (xᵢ − μ_B) ÷ √(σ²_B + ε)                       표준화. ε 는 0 으로 나누지 않게
yᵢ   = γ·x̂ᵢ + β                                       γ 배 늘이고 β 만큼 옮기기(학습한다)

m 은 배치 안 자료의 수입니다. 이 네 줄은 논문의 알고리즘 1 과 같습니다. 아래 실험에서 같은 방식으로 한 단계씩 넘겨 보세요. 처음 배치는 값 6 개 3, 5, 5, 6, 8, 9 이고 평균 6, 분산 4, 표준편차 2 입니다.

γ 와 β 는 마지막 단계(⑤)에서 움직일 수 있습니다. 「다른 배치 뽑기」는 평균 6, 표준편차 2 쯤에서 값 6 개를 고정 시드로 지어냅니다. 진짜 신경망 대신 뉴런 하나의 값만 보이는 작게 줄인 본보기입니다. 진짜 층에서는 뉴런마다 따로 이 일을 하고, γ 와 β 도 뉴런마다 하나씩 학습합니다.

해 볼 것. ① 「다음」을 세 번 누르면 값이 −1.5, −0.5, −0.5, 0, 1, 1.5 가 됩니다. 손 예제와 같은 계산입니다(ε 가 아주 작아 소수 둘째 자리까지 같습니다). ② 한 번 더 눌러 ⑤ 에서 γ 를 2, β 를 6 으로 두면 3, 5, 5, 6, 8, 9 로 처음 값에 돌아옵니다. 「γ = 표준편차, β = 평균」 단추도 같은 일을 합니다. ③ 「값을 모두 같게」를 누르고 ③ 단계로 가면 0 ÷ 0 이라 그릴 수 없고(NaN), ④ 단계에서 ε 를 더하면 값이 모두 0 이 됩니다. ④ 쪽을 새로 열고 「다른 배치 뽑기」를 세 번 누르면 μ_B 가 6.6, 5.38, 6.42 로 배치마다 다르고, 지금까지 본 배치 4 개의 μ_B 평균은 6.1 입니다.

ε: 0 으로 나누지 않게

배치 안의 값이 모두 같으면 분산이 0 이라 0 ÷ 0 이 됩니다. 그래서 분산에 아주 작은 수 ε 를 더한 뒤 제곱근을 냅니다. PyTorch 의 기본값은 0.00001 입니다. 보통의 배치에서는 결과가 거의 바뀌지 않습니다.

γ 와 β: 힘들게 맞춰 놓고 왜 다시 푸나

모든 층의 값을 늘 평균 0, 분산 1 로 묶어 두면 층이 할 수 있는 일이 줄어듭니다. 논문의 예로, 시그모이드 앞의 값이 늘 0 근처에 있으면 시그모이드의 가운데, 거의 곧은 부분만 쓰게 되어 휘는 힘을 잃습니다. 그래서 논문은 층마다 학습하는 숫자 둘 γ(늘이기)와 β(옮기기)를 더해, 필요하면 원래 눈금으로 되돌릴 수 있게 했습니다. γ 가 원래 표준편차, β 가 원래 평균이 되면 정확히 처음 값으로 돌아갑니다(논문의 말로는 「항등 변환도 나타낼 수 있게」). 맞춘 눈금은 출발점이고, 어디로 옮길지는 모델이 학습으로 정합니다. 덧붙여 교과서 『Deep Learning』(출처)이 드는 설명은, 이제 분포의 평균과 퍼짐을 β 와 γ 두 숫자가 바로 정하므로 앞 층의 많은 가중치가 얽혀서 정할 때보다 학습하기 쉽다는 것입니다.

학습할 때와 쓸 때가 다르다

학습할 때는 지금 배치의 μ_B 와 σ²_B 로 맞춥니다. 그런데 다 만든 모델을 쓸 때(추론)는 입력이 하나씩 들어오기도 하고, 같은 입력의 답이 우연히 같이 들어온 다른 자료에 따라 바뀌면 안 됩니다. 그래서 쓸 때는 학습하는 동안 모아 둔 평균과 분산(이동 평균)을 씁니다. 실험의 「다른 배치 뽑기」에서 μ_B 가 배치마다 다르고, 그것들을 모아 평균 낸 값이 설명 줄에 나옵니다. PyTorch 에서는 model.train() 과 model.eval() 이 이 둘을 바꿉니다. 쓸 때 eval() 을 잊으면 배치의 통계를 써서 결과가 흔들립니다. 배치가 아주 작으면 μ_B 와 σ²_B 가 크게 흔들리는 것도 약점입니다. 배치에 자료가 하나뿐이면 분산이 0 이라 의미가 없습니다.

9. 레이어 정규화: 배치 대신 자료 하나 안에서

숫자 격자를 생각합니다. 줄 하나가 배치 안의 자료 하나, 칸 하나가 특징(뉴런) 하나입니다. 배치 정규화는 칸(세로)마다, 배치 안의 자료들로 평균과 분산을 냅니다. 레이어 정규화는 줄(가로)마다, 그 자료 하나의 특징들로 평균과 분산을 냅니다. 식은 같고, 평균을 내는 방향만 다릅니다. 레이어 정규화에도 특징마다 γ 와 β 가 있습니다.

처음 값. 같은 색 띠 안에서 평균을 낸다
정규화한 뒤(γ = 1, β = 0)

해 볼 것. 자료 2 의 줄 2, 6, 2, 6 을 보세요. 레이어 정규화로는 −1, 1, −1, 1 이 됩니다(줄 평균 4, 표준편차 2). 배치 정규화로는 0, 0, 0, 0 입니다. 자료 2 가 마침 칸마다의 평균(2, 6, 2, 6)과 같기 때문입니다. 같은 자료라도 어느 방향으로 평균 내느냐에 따라 결과가 전혀 다릅니다.

트랜스포머가 레이어 정규화를 쓰는 까닭. 레이어 정규화는 자료 하나만 보고 계산합니다. 그래서 배치 크기와 상관없고(자료 하나로도 된다), 학습할 때와 쓸 때 하는 계산이 같습니다(레이어 정규화 논문). 문장은 길이가 제각각이라 배치 안의 문장마다 낱말 수가 다르고 빈칸을 채워 길이를 맞춥니다. 레이어 정규화는 토큰 하나(격자의 줄 하나)마다 따로 맞추므로 다른 문장의 길이나 빈칸에 영향을 받지 않습니다. 배치 정규화로 하려면 다른 문장들과 섞어 평균을 내야 합니다. 트랜스포머 쪽의 「더하고 정규화」가 이 레이어 정규화입니다.

10. 한계와 주의

어디에 쓰나

자주 묻는 것

정규화와 표준화는 같은 말인가요?

책마다 다르게 씁니다. 표준화는 평균 0, 분산 1 로 맞추는 것(z 점수)을 뜻합니다. 정규화는 넓게는 눈금을 맞추는 일 전부를, 좁게는 0 ~ 1 로 맞추는 최소-최대를 뜻합니다. 배치 정규화와 레이어 정규화의 정규화는 표준화의 뜻입니다. 헷갈리면 식을 같이 적습니다.

표준화하면 정규분포가 되나요?

아닙니다. 표준화는 옮기고 늘이거나 줄이기만 해서 분포의 모양은 그대로입니다. 한쪽으로 치우친 분포는 표준화해도 치우쳐 있고, 봉우리가 둘이면 둘인 채로 남습니다. 바뀌는 것은 평균(0)과 퍼진 정도(1)뿐입니다.

최소-최대와 표준화 가운데 무엇을 쓰나요?

값이 들어갈 범위가 정해져 있어야 하면(예: 그림의 밝기를 0 ~ 1 로) 최소-최대를, 그렇지 않으면 보통 표준화를 씁니다. 이상치가 있으면 최소-최대는 나머지가 한쪽에 몰리니, 중앙값과 사분위 범위를 쓰는 방법을 함께 봅니다.

시험 자료는 시험 자료의 평균으로 맞추면 안 되나요?

안 됩니다. 평균과 표준편차는 훈련 자료에서만 구해 저장하고, 시험 자료와 실제로 쓸 때의 입력에도 그 숫자를 그대로 씁니다. 따로 구하면 같은 값이 다른 숫자로 바뀌고, 처음부터 전체 자료로 구하면 시험 자료의 정보가 훈련에 새어 들어 시험 점수가 실제보다 좋게 나옵니다.

배치 정규화는 왜 학습을 돕나요?

설명이 여럿입니다. 원 논문은 앞 층이 학습하며 바뀔 때마다 뒤 층이 받는 값의 분포가 흔들리는 것(내부 공변량 이동)을 줄인다고 설명했습니다. 그 뒤의 연구들은 다른 설명을 내놓았고, 아직 하나로 정리되지 않았습니다. 학습이 빨라지고 큰 학습률을 쓸 수 있다는 것은 원 논문의 실험에서 보였습니다.

낱말

여기서 쓴 말책에서 부르는 말
입력마다 눈금 맞추기특징 스케일링(feature scaling), 정규화(normalization)
평균 0, 분산 1 로 맞추기표준화(standardization). 결과는 z 점수(z-score, 표준 점수)
0 ~ 1 로 맞추기최소-최대 정규화(min-max normalization, min-max scaling)
중앙값과 사분위 범위로 맞추기로버스트 스케일링(robust scaling). 사분위 범위는 interquartile range(IQR)
입력, 숫자 하나특징(feature), 변수(variable)
평균 E[x]기댓값(expectation), 평균(mean)
퍼진 정도 Var[x], √Var[x]분산(variance), 표준편차(standard deviation, σ)
평균 빼기중심화(centering)
같이 움직이는 정도공분산(covariance), 상관계수(correlation coefficient)
상관까지 없애 둥글게 하기화이트닝, 백색화(whitening)
멀리 떨어진 값이상치(outlier)
시험 자료가 훈련에 새어 듦데이터 누수(data leakage)
작은 묶음미니배치(mini-batch)
묶음마다 맞추기배치 정규화(batch normalization, BN)
자료 하나 안에서 맞추기레이어 정규화(layer normalization, LN)
다시 늘이는 배율, 옮기는 거리γ(scale, gain), β(shift, bias). 학습하는 파라미터
모아 둔 평균과 분산이동 평균(running mean, running variance)
다 만든 모델을 쓰기추론(inference)
앞 층이 바뀌어 뒤 층의 입력 분포가 흔들림내부 공변량 이동(internal covariate shift)
그릇의 굽은 정도를 모은 표헤세 행렬(Hessian)

출처

← 과적합과 일반화주성분 분석(PCA) →