학습률 스케줄: 워밍업과 감쇠
학습률은 경사 하강법이 한 스텝(step)에 얼마나 멀리 가는지 정하는 숫자입니다. 이 숫자를 학습 내내 같게 두지 않고, 처음에는 천천히 올리고 뒤로 갈수록 줄이는 규칙이 학습률 스케줄(learning rate schedule)입니다. 여섯 가지 스케줄을 골라 학습률과 loss 가 어떻게 달라지는지 보세요.
한 줄 답. 학습률 스케줄은 스텝 번호마다 학습률을 정하는 규칙입니다. 바닥에서 멀 때는 큰 스텝이 빠르지만, 바닥 근처에서는 큰 스텝이 바닥을 넘나들며 계속 흔들립니다. 그래서 크게 시작해 점점 줄입니다(감쇠). 처음 몇 스텝은 학습이 불안해서 0 부터 천천히 올리기도 합니다(warmup). 이 쪽에서 식을 만들어 보는 것은 warmup + cosine 입니다: t < W 면 η_max × t ÷ W, 그 뒤는 η_min + (η_max − η_min) × ½(1 + cos(π·p)).
단추로 스케줄을 고르면 위 칸에 스텝마다의 학습률, 아래 칸에 loss 가 그려집니다. 회색 점선은 같은 η_max 의 고정 학습률입니다. 작게 줄인 본보기입니다: 가중치는 w 하나, 그릇은 loss(w) = w²/2 + w⁴/40 이라 바닥 근처는 완만하고 벽은 가파릅니다. w = 3 에서 출발해 100 스텝을 가고, 스텝마다 기울기(그래디언트)에 고정 시드(seed)로 지어낸 흔들림(표준편차 0.5)을 더해 미니배치를 흉내 냅니다. 여섯 스케줄이 같은 흔들림을 받습니다. 하이퍼파라미터(hyperparameter): 계단은 30 스텝마다 0.1 배, 지수는 스텝마다 0.96 배, cosine 의 끝값 η_min 은 η_max 의 10분의 1, warmup 은 10 스텝, 멈추면 줄이기는 loss 가 5 스텝 넘게 가장 낮은 값을 넘어서지 못하면 반으로. 진짜 신경망은 가중치가 수백만 개이고 그릇의 모양을 알 수 없지만, 학습률이 크면 튀고, 작으면 느리고, 클수록 바닥에서 더 흔들린다는 모습은 같이 보입니다.
1. 학습률 스케줄이란
경사 하강법은 스텝마다 w ← w − η × 기울기 로 가중치를 고칩니다. 기울기는 가야 할 방향과 가파른 정도이고, 학습률 η(에타)는 거기에 곱하는 배율, 곧 한 스텝의 크기입니다.
학습률 스케줄은 η 를 하나로 정하지 않고 스텝 번호 t 에 따라 바꾸는 규칙 η(t) 입니다. 뒤로 갈수록 줄이는 것을 감쇠(decay), 처음 몇 스텝 동안 0 근처에서 올리는 것을 warmup 이라고 부릅니다. 스케줄은 옵티마이저(SGD, Adam)를 바꾸지 않고 학습률 숫자만 바꿉니다. 그래서 어느 옵티마이저와도 같이 씁니다.
2. 학습률이 너무 크면, 너무 작으면
- 너무 크면 튑니다. 바닥을 지나 반대편 벽으로 가고, 거기서 더 큰 기울기를 받아 더 멀리 튑니다. 실험의 그릇에서 w = 3 의 기울기는
3 + 3³ ÷ 10 = 5.7입니다. η = 1.5 로 한 스텝 가면(흔들림 없이 계산)3 − 1.5 × 5.7 = −5.55, loss 가 6.53 에서 39.12 로 커집니다. 다음 스텝은 더 멀리 가서 발산합니다. 진짜 학습에서는 loss 가 갑자기 치솟거나 NaN 이 나옵니다. - 조금 크면 흔들림이 남습니다. 터지지는 않아도 바닥 근처에서 스텝이 커서 바닥을 계속 넘나듭니다. 미니배치 때문에 기울기가 스텝마다 조금씩 흔들리는데, 그 흔들림에 학습률이 곱해지기 때문입니다. 학습률이 클수록 더 크게 흔들립니다.
- 너무 작으면 느립니다. 스텝이 작아 정해진 스텝 안에 바닥에 닿지 못합니다. 흔들림은 작지만 그 전에 시간이 다 갑니다.
그래서 크게 시작해 줄입니다. 멀 때는 큰 스텝으로 빨리 다가가고, 가까워지면 작은 스텝으로 흔들림을 줄입니다. 처음이 너무 불안하면 그 앞에 warmup 을 둡니다. 같은 η = 1.5 라도 warmup 의 둘째 스텝(η = 0.15)이면 3 − 0.15 × 5.7 = 2.145, loss 는 2.83 으로 줄어듭니다.
해 볼 것. ① 처음 화면(warmup + cosine, η_max 1)은 마지막 10스텝의 평균 loss 가 0.0085, 고정은 0.21 입니다. ② 스케줄을 바꿔 보세요. 계단 감쇠 0.004, 지수 감쇠 0.002, cosine 0.0084, 멈추면 줄이기 0.0075 입니다. 고정만 스무 배가 넘게 높습니다. 계단 감쇠는 30 스텝에서 학습률이 10분의 1 이 되면서 loss 도 뚝 떨어집니다. ③ η_max 를 1.5 로 올리면 warmup + cosine 만 0.012 로 살아남고, 나머지 다섯은 2 스텝째 발산합니다. ④ 2 로 올리면 warmup + cosine 도 14 스텝째 발산합니다. warmup 은 처음을 넘겨 줄 뿐, 바닥에서도 너무 큰 학습률은 막지 못합니다. ⑤ 0.01 로 내리면 고정 0.39, warmup + cosine 1 입니다. 100 스텝 안에 바닥에 닿지 못해 스케줄을 바꿔도 소용없습니다. ⑥ 0.05 의 고정은 0.0043 으로, 1 의 고정(0.21)보다 낮습니다. 작은 학습률은 느리지만 덜 흔들립니다. 이 그릇은 작아서 0.05 로도 100 스텝이면 바닥에 닿습니다.
3. 여섯 가지 스케줄
t 는 0 부터 세는 스텝 번호, T 는 전체 스텝 수(여기서 100), ⌊ ⌋ 는 소수점 아래를 버리는 내림입니다.
| 스케줄 | 식이나 규칙 | 실험의 하이퍼파라미터 | 모양 |
|---|---|---|---|
| 고정 | η = η_max | 평평 | |
| 계단 감쇠 | η = η_max × γ^⌊t ÷ s⌋ | s = 30, γ = 0.1 | s 스텝마다 한 단씩 내려가는 계단 |
| 지수 감쇠 | η = η_max × γ^t | γ = 0.96 | 처음에 빨리, 뒤로 갈수록 천천히 줄어든다 |
| cosine | η = η_min + (η_max − η_min) × ½(1 + cos(π·t ÷ T)) | η_min = η_max ÷ 10 | 처음과 끝은 평평하고 가운데서 빨리 줄어든다 |
| warmup + cosine | W 스텝 동안 0 에서 직선으로 올린 뒤 cosine(4절) | W = 10 | 짧은 오르막 뒤 cosine |
| 멈추면 줄이기 | loss 가 patience 스텝 넘게 가장 낮은 값을 넘어서지 못하면 η ← η × factor | patience 5, factor 0.5 | loss 를 보고 정해서 미리 알 수 없다 |
멈추면 줄이기만 식이 아니라 loss 를 보는 규칙입니다. 진짜 학습에서는 스텝마다가 아니라 에폭(자료 전체를 한 번 도는 것)마다 검증 loss 를 봅니다. PyTorch 문서는 학습이 멈췄을 때 학습률을 2 ~ 10 배 줄이면 도움이 되는 경우가 많다고 적습니다.
4. 식이 만들어지는 과정: warmup + cosine
조각 셋을 차례로 붙입니다. 0 에서 직선으로 올리는 조각, 1 에서 −1 로 내려가는 cos 반 물결, 그것을 0 ~ 1 로 옮기고 η_min ~ η_max 로 늘이는 조각입니다. 실험 ① 과 같은 W = 10, T = 100, η_max = 1, η_min = 0.1 을 씁니다. p 는 warmup 뒤의 스텝 가운데 얼마나 왔는가로, p = (t − W) ÷ (T − W) 이고 0 에서 1 로 갑니다.
「다음」을 누르면 식에 조각이 하나 붙고(주황 바탕이 이번에 붙은 조각), 곡선이 그만큼 바뀌고, 아래에 까닭이 나옵니다.
해 볼 것. ① 처음에는 0 에서 1 까지 오르는 직선만 있고 t = 5 의 값은 0.5 입니다. ② 「다음」을 누르면 cos 반 물결이 붙어 t = 100 에서 −1 까지 내려갑니다. t = 55 의 값은 0 입니다. ③ 한 번 더 누르면 곡선이 위로 올라가며 납작해져 1 에서 0 까지가 됩니다. t = 55 는 0.5. ④ 마지막으로 0.1 ~ 1 사이로 늘어나 끝이 η_min = 0.1 에 멈춥니다. t = 55 는 0.55 이고, 실험 ① 의 warmup + cosine 위 칸과 같은 곡선입니다.
왜 cos 일까요. 반 물결은 처음과 끝에서 천천히 바뀝니다. 그래서 큰 학습률이 처음에 오래 머물고, 끝에서는 작은 학습률에 오래 머뭅니다. cosine 스케줄은 SGDR 논문에서 왔고, PyTorch 의 CosineAnnealingLR 문서도 같은 식을 적습니다. 트랜스포머 원 논문은 warmup 뒤에 cos 이 아니라 스텝 수의 제곱근에 반비례하게 줄였습니다. warmup 다음에 무엇으로 줄일지는 고를 수 있습니다.
5. 손으로 따라가기
η_max = 1, η_min = 0.1, W = 10, T = 100 으로 스텝 몇 개의 학습률을 직접 구합니다.
| t | 구간 | 계산 | η |
|---|---|---|---|
| 0 | warmup | 1 × 0 ÷ 10 | 0 |
| 5 | warmup | 1 × 5 ÷ 10 | 0.5 |
| 10 | cosine | p = 0, cos 0 = 1, ½(1 + 1) = 1, 0.1 + 0.9 × 1 | 1 |
| 40 | cosine | p = 30 ÷ 90 = ⅓, cos(π/3) = 0.5, ½(1 + 0.5) = 0.75, 0.1 + 0.9 × 0.75 | 0.775 |
| 55 | cosine | p = 45 ÷ 90 = 0.5, cos(π/2) = 0, ½(1 + 0) = 0.5, 0.1 + 0.9 × 0.5 | 0.55 |
| 85 | cosine | p = 75 ÷ 90 ≈ 0.83, cos(5π/6) ≈ −0.866, ½(1 − 0.866) ≈ 0.067, 0.1 + 0.9 × 0.067 | 0.16 |
| 100 | cosine | p = 1, cos π = −1, ½(1 − 1) = 0, 0.1 + 0.9 × 0 | 0.1 |
t = 0 은 학습률이 0 이라 첫 스텝은 움직이지 않습니다. 실험은 t = 0 ~ 99 의 100 스텝을 가므로 마지막 스텝의 학습률은 0.1 보다 아주 조금 큽니다.
6. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 안전한 크기에는 끝이 있다 | 굽은 정도가 a 로 일정한 그릇(a × w² ÷ 2)에서는 η 가 2 ÷ a 를 넘으면 스텝마다 바닥 반대편으로 더 멀리 튀어 발산한다 | 바닥 근처는 a = 1 이라 η_max 2 에서 warmup + cosine 도 발산 |
| 흔들림은 학습률을 따른다 | 기울기가 흔들리면 바닥 근처에서 학습률이 클수록 크게 흔들린다. 고정 학습률은 어느 높이 아래로 내려가지 못한다 | 고정 1 은 0.21, 고정 0.05 는 0.0043 |
| 처음이 가장 위험하다 | 이 그릇은 바닥에서 멀수록 벽이 가파르다. 같은 학습률도 처음에는 튀고 바닥 근처에서는 괜찮다. warmup 이 이때를 넘겨 준다 | η_max 1.5 에서 warmup 이 있는 스케줄만 살아남는다 |
| 너무 일찍 너무 작아지면 남은 스텝이 헛돈다 | 끝 무렵의 학습률이 작을수록 바닥이 낮지만, 일찍 작아지면 그 뒤로는 거의 움직이지 못한다 | 계단 감쇠(90 스텝부터 0.001)가 지수 감쇠(끝 0.018)보다 높다 |
| 대부분 전체 길이를 미리 정한다 | cosine 은 T, 계단은 줄일 때, 지수는 비율을 길이에 맞춘다. 멈추면 줄이기만 loss 를 보고 정한다 | 3절의 표 |
진짜 신경망에서 warmup 이 왜 듣는지는 설명이 여럿입니다. 큰 배치로 학습한 논문(출처)은 학습 초반의 최적화가 어렵다고 보고 warmup 으로 이것을 넘겼습니다. 이 쪽의 「처음에 벽이 가파른 그릇」은 그 모습을 작게 줄인 본보기일 뿐, 진짜 까닭을 하나로 정해 주지는 않습니다.
7. 언제 무엇을 쓰나
| 스케줄 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 고정 | 정할 숫자가 하나라 가장 단순하다 | 끝에 흔들림이 남아 더 내려가지 못한다 | 처음 시험해 볼 때, 알맞은 학습률을 찾을 때 |
| 계단 감쇠 | 이해하기 쉽고, 줄이는 때가 정해져 있어 로그를 읽기 쉽다 | 줄일 때와 배율을 따로 정해야 하고, 학습 길이가 바뀌면 다시 정해야 한다 | 에폭 수가 정해진 학습, 예전 설정을 그대로 따라 할 때 |
| 지수 감쇠 | 숫자 하나(γ)로 매끄럽게 줄인다 | 처음부터 줄기 시작해 큰 학습률 구간이 짧고, γ 를 길이에 맞춰야 한다 | 스텝마다 조금씩 꾸준히 줄이고 싶을 때 |
| cosine | 큰 학습률에 오래 머물다 끝에서 부드럽게 줄어든다. 정할 것은 끝값 하나 | 전체 스텝 수 T 를 미리 알아야 하고, 중간에 늘리기 어렵다 | 학습 길이를 미리 정할 수 있을 때 |
| warmup + cosine | 처음의 불안을 넘겨 더 큰 최댓값을 쓸 수 있다 | W 를 하나 더 정해야 하고, 처음 몇 스텝은 느리다 | 트랜스포머처럼 처음이 불안한 학습, 큰 배치 학습 |
| 멈추면 줄이기 | 길이를 몰라도 되고 loss 를 보고 줄인다 | 검증 loss 가 흔들리면 너무 일찍 줄이고, 멈춘 것을 알아채는 동안 스텝이 헛돈다 | 학습 길이를 미리 정하기 어려울 때, 에폭마다 검증 loss 를 잴 때 |
어디에 쓰나
신경망을 학습하는 코드 대부분에 스케줄이 있습니다. PyTorch 에서는 torch.optim.lr_scheduler 아래에 StepLR(계단), ExponentialLR(지수), CosineAnnealingLR(cosine), ReduceLROnPlateau(멈추면 줄이기)가 있습니다. 실험의 warmup + cosine 은 배율 함수를 직접 주는 LambdaLR 로 그대로 쓸 수 있습니다. LambdaLR 은 처음 학습률(lr, 여기서 η_max)에 함수가 돌려준 배율을 곱합니다.
import math, torch
W, T = 10, 100
def rate_factor(t): # η_max 에 곱할 배율
if t < W:
return t / W
p = (t - W) / (T - W)
return 0.1 + 0.9 * 0.5 * (1 + math.cos(math.pi * p))
optimizer = torch.optim.SGD(model.parameters(), lr=1.0) # lr 이 η_max
scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, rate_factor)
for t in range(T):
... # loss 를 구하고 loss.backward()
optimizer.step()
scheduler.step() # 다음 스텝의 학습률로 바꾼다
ReduceLROnPlateau 는 loss 를 봐야 하므로 scheduler.step(val_loss) 처럼 검증 loss 를 넘겨 부릅니다.
자주 묻는 것
Adam 을 쓰면 학습률 스케줄이 필요 없나요?
아닙니다. Adam 은 가중치마다 스텝의 크기를 따로 맞추지만, 그 위에 곱하는 학습률 하나는 그대로 있고 스케줄은 그 숫자에 겁니다. 트랜스포머 원 논문도 Adam 에 처음에는 직선으로 올리고 그 뒤 줄이는 스케줄을 붙였습니다.
warmup 은 몇 스텝이 알맞나요?
정해진 값은 없습니다. 트랜스포머 원 논문은 4000 스텝을 썼습니다. 처음 몇 스텝에서 loss 가 치솟거나 NaN 이 나오면 warmup 을 늘리거나 최댓값을 줄여 봅니다. 너무 길면 큰 학습률로 배우는 스텝이 줄어듭니다.
cosine 스케줄이 끝난 뒤 더 학습하고 싶으면 어떻게 하나요?
cosine 은 총 스텝 수 T 를 미리 정하고 그 끝에서 η_min 에 닿게 짠 스케줄입니다. 더 학습하려면 T 를 늘려 처음부터 다시 짜거나, 학습률을 다시 크게 올린 뒤 cosine 으로 다시 내리는 방법(warm restart, SGDR 논문)을 씁니다. 길이를 미리 정하기 어려우면 멈추면 줄이기가 편합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 한 스텝의 크기 | 학습률(learning rate, η, lr), 스텝 크기(step size) |
| 스텝마다 학습률을 정하는 규칙 | 학습률 스케줄(learning rate schedule), 스케줄러(scheduler) |
| 줄이기 | 감쇠(decay), 어닐링(annealing) |
| 처음에 천천히 올리기 | 워밍업(warmup) |
| 계단처럼 줄이기 · 비율로 줄이기 | 계단 감쇠(step decay) · 지수 감쇠(exponential decay) |
| cos 모양으로 줄이기 | 코사인 어닐링(cosine annealing), 코사인 감쇠(cosine decay) |
| 멈추면 줄이기, 기다리는 스텝 수 | ReduceLROnPlateau, patience |
| 다시 크게 올리기 | 웜 리스타트(warm restart) |
| 가중치를 한 번 고치기 · 자료 전체를 한 번 돌기 | 스텝, 반복(step, iteration) · 에폭(epoch) |
| 그릇이 굽은 정도 | 곡률(curvature) |
| 튀어서 점점 커짐 | 발산(divergence) |
| 기울기의 흔들림 | 확률적 경사의 잡음(gradient noise) |
출처
- Ilya Loshchilov, Frank Hutter, SGDR: Stochastic Gradient Descent with Warm Restarts, arXiv:1608.03983. cosine 일정과 warm restart.
- Priya Goyal 외, Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour, arXiv:1706.02677. 학습 초반의 최적화 어려움을 넘기는 warmup.
- Ashish Vaswani 외, Attention Is All You Need, arXiv:1706.03762. Adam, warmup_steps = 4000 동안 직선으로 올리고 그 뒤 걸음 수의 제곱근에 반비례하게 줄이는 일정.
- PyTorch 문서: CosineAnnealingLR(cosine 식), ReduceLROnPlateau(멈추면 2 ~ 10 배 줄이기, patience), LambdaLR(처음 학습률 × 함수의 배율).