배치 정규화와 레이어 정규화: 어느 방향으로 평균을 내나
신경망의 층 사이에서 값의 눈금을 맞추는 방법 둘입니다. 식은 같고, 평균과 분산을 낼 때 어느 칸끼리 묶느냐만 다릅니다. 그 하나가 학습 때와 추론 때의 차이, 작은 배치(mini-batch, 한 번에 같이 넣는 자료 묶음)의 문제, 트랜스포머의 선택을 모두 갈라 놓습니다.
한 줄 답. 줄이 자료, 칸이 특징인 숫자 격자에서 배치 정규화는 세로로(같은 특징을 배치 안의 여러 자료로), 레이어 정규화(layer normalization)는 가로로(자료 하나의 여러 특징으로) 평균과 분산을 냅니다. 배치 정규화는 다른 자료에 기대므로 추론 때는 학습하며 모아 둔 평균·분산을 쓰고, 배치가 작으면 흔들립니다. 레이어 정규화는 자료 하나만 보므로 그런 문제가 없어 트랜스포머가 씁니다.
줄 하나가 배치 안의 자료 하나(표본), 칸 하나가 특징 하나입니다. 숫자는 지어낸 것이고 진짜 신경망 대신 4 × 4 격자만 보이는 작게 줄인 본보기입니다. 진짜 층에서는 자료가 수십 개, 특징이 수백 개쯤 됩니다. 「추론 때」의 저장한 μ, σ² 도 학습하며 모았다고 치고 지어낸 값입니다.
1. 같은 식, 다른 방향
두 방법 모두 정규화(표준화)를 층 사이에서 합니다. 평균을 빼고 표준편차로 나눠 평균 0, 분산 1 로 맞춘 뒤, 학습하는 숫자 γ, β 로 다시 늘이고 옮깁니다. 표준화 식 자체와 γ, β 를 두는 까닭은 그 쪽에 있습니다. 이 쪽은 무엇끼리 평균을 내느냐를 봅니다.
| 배치 정규화 | 레이어 정규화 | |
|---|---|---|
| 묶는 칸 | 같은 특징(세로 칸)의, 배치 안 여러 자료 | 같은 자료(가로 줄)의 여러 특징 |
| 평균·분산의 수 | 특징마다 하나 | 자료마다 하나 |
| 그림(합성곱)에서 | 채널마다, 배치 안 모든 자료의 모든 자리(가로·세로)를 같이 묶는다 | 자료마다, 모든 채널과 자리를 같이 묶는다 |
| 트랜스포머에서 | 잘 쓰지 않는다 | 토큰마다, 그 토큰 벡터의 칸들을 묶는다 |
그림(합성곱)에서 어느 칸끼리 묶이는지는 아래 덩어리 그림에 있습니다. 8절의 그룹 정규화도 같이 그렸습니다.
배치 정규화(배치 방향)
같이 묶는 것: 한 채널의 모든 자료·모든 자리
레이어 정규화(표본 방향)
같이 묶는 것: 한 자료의 모든 채널·모든 자리
그룹 정규화
같이 묶는 것: 한 자료의 한 그룹 채널·모든 자리(점선이 채널 6개를 3개씩 두 그룹으로 나눔)
해 볼 것. ① 처음에는 배치 방향, 자료 1·특징 1 의 값 2 가 골라져 있습니다. 특징 1 의 칸 2, 8, 8, 10 이 묶여 μ = 7, σ² = 9 이고 x̂ = −1.67 입니다. ② 「표본 방향」을 누르면 같은 칸 2 가 자료 1 의 줄 2, 8, 2, 0 과 묶여 μ = 3, σ² = 9 이고 x̂ = −0.33 이 됩니다. 같은 값이 방향에 따라 다른 결과를 냅니다. ③ 「배치 방향(추론 때)」를 누르면 주황 테두리가 고른 칸 하나에만 남습니다. 저장한 μ = 6, σ² = 9 를 써서 x̂ = −1.33 이고, 오른쪽 특징 1 의 칸은 −1.33, 0.67, 0.67, 1.33 으로 평균이 0 이 아닙니다. ④ 배치 방향에서 특징 4 는 넷 모두 0 이라 분산이 0 인데, 결과도 모두 0 입니다. 2절에서 그 까닭을 봅니다.
2. 식이 만들어지는 과정
위에서 고른 묶음으로 y = γ·(x − μ) ÷ √(σ² + ε) + β 를 한 단계씩 만듭니다. μ 는 묶음의 평균, σ² 는 분산(평균까지 거리의 제곱을 값의 수로 나눈 것)입니다.
- 평균 빼기:
x − μ. 묶음의 가운데를 0 으로 옮깁니다. 배치 방향이면 μ 는 같은 특징을 가진 여러 자료의 평균, 표본 방향이면 한 자료 안 특징들의 평균입니다. - 표준편차로 나누기:
(x − μ) ÷ √σ². 퍼진 정도를 1 로 맞춥니다. 묶음의 값이 모두 같으면 σ² = 0 이라0 ÷ 0이 되어 숫자가 아닌 값(NaN)이 나옵니다. - ε 더하기:
(x − μ) ÷ √(σ² + ε). 분산에 아주 작은 수를 더해 0 으로 나누는 일을 막습니다. PyTorch 의 BatchNorm 과 LayerNorm 은 기본값이 0.00001 입니다. 보통의 묶음에서는 결과가 거의 바뀌지 않습니다. - γ 배, β 옮기기:
y = γ·(…) + β. 맞춘 눈금을 모델이 학습한 만큼 다시 늘이고 옮깁니다. 두 방법 모두 γ, β 는 특징마다 하나입니다. 그래서 배치 방향의 묶음(특징 하나)에는 γ, β 가 한 쌍이고, 표본 방향의 묶음(특징 여럿)에서는 칸마다 다른 γ, β 가 곱해지고 더해집니다.
해 볼 것. 실험의 γ 는 특징 1 ~ 4 에 2, 1, 0.5, 1, β 는 1, 0, 0, 0.5 로 정해 두었습니다(학습했다고 치는 지어낸 값). ① 배치 방향, 특징 1 에서 「다음」을 네 번 누르면 −1.67, 0.33, 0.33, 1 이 γ = 2, β = 1 로 −2.33, 1.67, 1.67, 3 이 됩니다. ② 특징 4 의 칸을 고르고 ③ 단계로 가면 NaN 이라 그릴 수 없고, ④ 단계에서 값이 모두 0 이 됩니다. ③ 표본 방향, 자료 1 로 ⑤ 까지 가면 −0.33, 1.67, −0.33, −1 이 칸마다 다른 γ, β 를 받아 0.33, 1.67, −0.17, −0.5 가 됩니다. ④ 추론 때로 ② 단계를 보면 저장한 μ = 6 을 빼서 가운데가 0 이 아니라 1 입니다.
3. 손으로 풀어 보기
실험의 처음 칸, 자료 1·특징 1 의 값 2 를 두 방향으로 정규화합니다(ε 는 아주 작아 빼고 셉니다).
| 단계 | 배치 방향(특징 1 의 칸) | 표본 방향(자료 1 의 줄) |
|---|---|---|
| 묶이는 값 | 2, 8, 8, 10 | 2, 8, 2, 0 |
| 평균 μ | 28 ÷ 4 = 7 | 12 ÷ 4 = 3 |
| 평균까지 거리 | −5, 1, 1, 3 | −1, 5, −1, −3 |
| 분산 σ² | (25 + 1 + 1 + 9) ÷ 4 = 9 | (1 + 25 + 1 + 9) ÷ 4 = 9 |
| x̂ = (2 − μ) ÷ √σ² | −5 ÷ 3 = −1.67 | −1 ÷ 3 = −0.33 |
| y = γ·x̂ + β (특징 1: γ = 2, β = 1) | 2 × (−1.67) + 1 = −2.33 | 2 × (−0.33) + 1 = 0.33 |
분산은 둘 다 9 로 같은데 평균이 달라서 결과가 다릅니다. 같은 값 2 가 배치 방향에서는 「같은 특징의 다른 자료보다 꽤 작다」, 표본 방향에서는 「이 자료의 다른 특징보다 조금 작다」는 뜻이 됩니다.
4. 학습 때와 추론 때(배치 정규화만)
배치 정규화의 μ, σ² 는 같이 들어온 다른 자료로 정해집니다. 학습 때는 괜찮지만, 다 만든 모델을 쓸 때(추론) 같은 입력의 답이 옆에 무엇이 같이 들어왔느냐에 따라 바뀌면 안 됩니다. 입력이 하나씩 들어오기도 합니다. 그래서 원 논문은 추론 때 배치의 통계 대신 전체 자료의 평균·분산을 씁니다. PyTorch 같은 라이브러리는 그 값을 학습하는 동안 이동 평균으로 모아 둡니다. 추론 때는 μ, σ² 가 고정이라 정규화가 칸마다 정해진 곱하기와 더하기가 됩니다.
# PyTorch BatchNorm 의 이동 평균(momentum 기본값 0.1)
저장한 평균 ← (1 − 0.1) × 저장한 평균 + 0.1 × 이 배치의 평균
# 예: 저장한 평균 6, 이 배치의 평균 7 → 0.9 × 6 + 0.1 × 7 = 6.1
PyTorch 문서에 따르면 학습 때 정규화에는 n 으로 나눈 분산을 쓰지만, 저장하는 분산에는 n − 1 로 나눈 분산을 넣습니다. model.train() 이면 배치의 통계로 맞추고 저장값을 고치며, model.eval() 이면 저장값으로 맞춥니다.
다른 자료에 기대는지는 숫자로 보입니다. 실험의 자료 4·특징 1 을 10 에서 30 으로 바꾸면, 자료 1·특징 1 의 결과가 배치 방향(학습 때)에서는 −1.67 에서 −0.94 로 바뀝니다. 자료 1 은 그대로인데도 그렇습니다. 추론 때(−1.33)와 표본 방향(−0.33)은 그대로입니다.
5. 작은 배치의 문제
배치가 작으면 그 몇 개로 낸 μ, σ² 가 배치마다 크게 흔들립니다. 극단을 보면 분명합니다.
- 자료 2 개. 값이 a, b 면 평균까지 거리가 ±(a − b) ÷ 2 이고 표준편차가 |a − b| ÷ 2 입니다. 그래서 결과는 값과 상관없이 늘 −1 과 1 입니다(두 값이 다르면). 3 과 7 도, 100 과 −5 도 −1, 1 이 됩니다. 특징이 가진 크기 정보가 사라집니다.
- 자료 1 개. 분산이 0 이라 ε 를 더해도 결과가 늘 0 입니다.
그룹 정규화 논문은 배치가 작아질수록 배치 정규화의 오차가 빠르게 커지고, 그 까닭이 배치 통계를 부정확하게 어림하는 데 있다고 적었습니다. 객체 탐지, 분할, 영상처럼 메모리 때문에 배치를 작게 잡아야 하는 일에서 이것이 걸립니다.
6. 트랜스포머가 레이어 정규화를 쓰는 까닭
- 배치에 기대지 않습니다. 레이어 정규화는 자료 하나만 보고 계산하므로 배치 크기와 상관없고, 학습 때와 추론 때 하는 계산이 똑같습니다(레이어 정규화 논문). 저장값도,
train()·eval()의 차이도 없습니다. - 문장마다 길이가 다릅니다. 한 배치 안의 문장들은 낱말 수가 달라 빈칸을 채워 길이를 맞춥니다. 레이어 정규화는 토큰 하나(그 토큰 벡터의 칸들)마다 따로 맞추므로 다른 문장이나 빈칸에 영향을 받지 않습니다. 배치 방향으로 하려면 다른 문장들의 토큰과 섞어 평균을 내야 합니다.
- 시퀀스(sequence, 순서가 있는 자료)에 바로 쓸 수 있습니다. 레이어 정규화 논문은 순환 신경망에서도 시점마다 따로 통계를 내면 되어 바로 쓸 수 있다고 적었습니다. 배치 정규화는 순환 신경망에 어떻게 쓸지 분명하지 않다고 했습니다.
트랜스포머 쪽의 「더하고 정규화」가 이 레이어 정규화입니다.
7. 꼭 알아야 할 성질
| 성질 | 배치 정규화 | 레이어 정규화 |
|---|---|---|
| 배치 크기에 기대나 | 기댄다. 작으면 통계가 흔들린다(자료 2 개면 늘 −1, 1) | 기대지 않는다 |
| 학습 때와 추론 때 | 다르다. 추론은 저장해 둔 평균·분산 | 같다 |
| 결과가 같이 들어온 자료에 따라 바뀌나 | 학습 때는 바뀐다(−1.67 → −0.94) | 바뀌지 않는다 |
| 정규화 뒤 평균 0, 분산 1 인 단위 | 특징(세로 칸)마다 | 자료(가로 줄)마다 |
| γ, β | 특징마다 하나 | 특징마다 하나 |
8. 언제 무엇을 쓰나
그룹 정규화는 자료 하나 안의 채널을 몇 그룹으로 나눠 그룹마다 평균과 분산을 냅니다. 배치에 기대지 않으면서 채널을 한꺼번에 묶지도 않는 중간입니다.
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 배치 정규화 | 배치가 넉넉하면 학습이 빨라지고 큰 학습률을 쓸 수 있다(원 논문). 추론 때는 정해진 곱하기·더하기라 가볍다 | 배치 크기에 기댄다. 학습·추론 모드를 바꿔 줘야 한다. 길이가 다른 시퀀스에 맞지 않다 | 배치를 크게 잡을 수 있는 그림 분류의 합성곱 신경망 |
| 레이어 정규화 | 배치 크기와 무관, 학습·추론 계산이 같다. 토큰·시점마다 따로 맞춘다 | 특징 수가 아주 적으면 그 몇 개로 낸 통계가 흔들린다(특징 2 개면 늘 −1, 1) | 트랜스포머, 순환 신경망, 배치가 1 일 수 있는 곳 |
| 그룹 정규화 | 배치 크기와 무관하고, 넓은 범위의 배치 크기에서 정확도가 안정적이다(그룹 정규화 논문) | 그룹 수를 하나 더 정해야 한다 | 메모리 때문에 배치가 작은 그림 일: 객체 탐지, 분할, 영상 |
| 층 사이 정규화 없음 | 단순하다. 계산이 없다 | 깊은 신경망은 작은 학습률과 조심스러운 초기화가 필요하다(배치 정규화 논문의 문제 제기) | 얕은 모델. 입력은 표준화만 해 둔다 |
어디에 쓰나
- 합성곱 신경망의 층 사이. 합성곱 뒤, 활성화 함수 앞에 흔히 배치 정규화를 둡니다(합성곱).
- 트랜스포머의 블록마다. 어텐션과 피드포워드 층 둘레에 레이어 정규화가 들어갑니다(어텐션, 트랜스포머).
- 배치가 작은 그림 일. 객체 탐지, 분할, 영상에서 배치 정규화 대신 그룹 정규화를 씁니다.
자주 묻는 것
배치 정규화를 쓴 모델이 추론할 때 결과가 흔들립니다. 왜 그런가요?
학습 모드 그대로 추론하면 저장해 둔 평균·분산 대신 지금 배치의 평균·분산을 씁니다. 그러면 같은 입력의 답이 같이 들어온 다른 입력에 따라 바뀝니다. 학습 모드에서는 저장값도 계속 고쳐집니다. PyTorch 라면 추론 전에 model.eval() 을 부릅니다.
레이어 정규화와 배치 정규화는 식이 다른가요?
식은 같습니다. 평균을 빼고, 분산에 ε 를 더한 값의 제곱근으로 나누고, γ 배 늘인 뒤 β 만큼 옮깁니다. 다른 것은 어느 칸끼리 묶어 평균과 분산을 내느냐입니다. 그래서 추론 때 저장해 둔 값이 필요한 것은 배치 정규화뿐입니다.
배치를 크게 잡을 수 없으면 어떻게 하나요?
배치 크기에 기대지 않는 방법으로 바꿉니다. 그림을 다루는 합성곱 신경망이면 그룹 정규화를, 시퀀스를 다루면 레이어 정규화를 봅니다. 그룹 정규화 논문은 배치가 작아질수록 배치 정규화의 오차가 빠르게 커지고, 그룹 정규화는 넓은 범위의 배치 크기에서 정확도가 안정적이라고 보였습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 한 번에 같이 넣는 자료 묶음 | 미니배치(mini-batch). 그 크기는 배치 크기(batch size) |
| 자료 하나 | 표본, 샘플(sample, example) |
| 특징 | 특징(feature), 뉴런(neuron), 그림에서는 채널(channel) |
| 배치 방향 / 표본 방향 | 배치 축(batch dimension) / 특징 축(feature dimension) |
| 묶음마다 맞추기 | 배치 정규화(batch normalization, BN) |
| 자료 하나 안에서 맞추기 | 레이어 정규화(layer normalization, LN) |
| 채널을 그룹으로 나눠 맞추기 | 그룹 정규화(group normalization, GN) |
| 모아 둔 평균과 분산 | 이동 평균(running mean, running variance), 지수 이동 평균(exponential moving average) |
| 모아 두는 비율 0.1 | 모멘텀(momentum). 옵티마이저의 모멘텀과는 다른 뜻 |
| 다 만든 모델을 쓰기 | 추론(inference). PyTorch 의 평가 모드 eval() |
| 0 으로 나누지 않게 더하는 작은 수 | 엡실론(ε, epsilon) |
| 다시 늘이는 배율, 옮기는 거리 | γ(scale, gain), β(shift, bias). 학습하는 파라미터 |
| 숫자가 아닌 값 | NaN(not a number) |
출처
- Sergey Ioffe, Christian Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, arXiv:1502.03167. 묶음 평균·분산, 추론 때 전체 자료의 통계와 이동 평균, 합성곱에서 채널마다 자리까지 묶는 것.
- Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton, Layer Normalization, arXiv:1607.06450. 자료 하나 안에서 평균·분산을 내는 것, 학습과 추론의 계산이 같다는 것, 순환 신경망에 시점마다 쓰는 것.
- Yuxin Wu, Kaiming He, Group Normalization, arXiv:1803.08494. 작은 묶음에서 배치 정규화의 오차가 커지는 것, 채널을 무리로 나누는 것.
- PyTorch 문서: BatchNorm1d(momentum 0.1, ε 0.00001, 저장하는 분산은 n − 1 로 나눔), LayerNorm(ε 0.00001, 칸마다의 γ, β).