학습률 스케줄: 워밍업과 감쇠

학습률은 경사 하강법이 한 스텝(step)에 얼마나 멀리 가는지 정하는 숫자입니다. 이 숫자를 학습 내내 같게 두지 않고, 처음에는 천천히 올리고 뒤로 갈수록 줄이는 규칙이 학습률 스케줄(learning rate schedule)입니다. 여섯 가지 스케줄을 골라 학습률과 loss 가 어떻게 달라지는지 보세요.

한 줄 답. 학습률 스케줄은 스텝 번호마다 학습률을 정하는 규칙입니다. 바닥에서 멀 때는 큰 스텝이 빠르지만, 바닥 근처에서는 큰 스텝이 바닥을 넘나들며 계속 흔들립니다. 그래서 크게 시작해 점점 줄입니다(감쇠). 처음 몇 스텝은 학습이 불안해서 0 부터 천천히 올리기도 합니다(warmup). 이 쪽에서 식을 만들어 보는 것은 warmup + cosine 입니다: t < W 면 η_max × t ÷ W, 그 뒤는 η_min + (η_max − η_min) × ½(1 + cos(π·p)).

단추로 스케줄을 고르면 위 칸에 스텝마다의 학습률, 아래 칸에 loss 가 그려집니다. 회색 점선은 같은 η_max 의 고정 학습률입니다. 작게 줄인 본보기입니다: 가중치는 w 하나, 그릇은 loss(w) = w²/2 + w⁴/40 이라 바닥 근처는 완만하고 벽은 가파릅니다. w = 3 에서 출발해 100 스텝을 가고, 스텝마다 기울기(그래디언트)에 고정 시드(seed)로 지어낸 흔들림(표준편차 0.5)을 더해 미니배치를 흉내 냅니다. 여섯 스케줄이 같은 흔들림을 받습니다. 하이퍼파라미터(hyperparameter): 계단은 30 스텝마다 0.1 배, 지수는 스텝마다 0.96 배, cosine 의 끝값 η_min 은 η_max 의 10분의 1, warmup 은 10 스텝, 멈추면 줄이기는 loss 가 5 스텝 넘게 가장 낮은 값을 넘어서지 못하면 반으로. 진짜 신경망은 가중치가 수백만 개이고 그릇의 모양을 알 수 없지만, 학습률이 크면 튀고, 작으면 느리고, 클수록 바닥에서 더 흔들린다는 모습은 같이 보입니다.

1. 학습률 스케줄이란

경사 하강법은 스텝마다 w ← w − η × 기울기 로 가중치를 고칩니다. 기울기는 가야 할 방향과 가파른 정도이고, 학습률 η(에타)는 거기에 곱하는 배율, 곧 한 스텝의 크기입니다.

학습률 스케줄은 η 를 하나로 정하지 않고 스텝 번호 t 에 따라 바꾸는 규칙 η(t) 입니다. 뒤로 갈수록 줄이는 것을 감쇠(decay), 처음 몇 스텝 동안 0 근처에서 올리는 것을 warmup 이라고 부릅니다. 스케줄은 옵티마이저(SGD, Adam)를 바꾸지 않고 학습률 숫자만 바꿉니다. 그래서 어느 옵티마이저와도 같이 씁니다.

2. 학습률이 너무 크면, 너무 작으면

그래서 크게 시작해 줄입니다. 멀 때는 큰 스텝으로 빨리 다가가고, 가까워지면 작은 스텝으로 흔들림을 줄입니다. 처음이 너무 불안하면 그 앞에 warmup 을 둡니다. 같은 η = 1.5 라도 warmup 의 둘째 스텝(η = 0.15)이면 3 − 0.15 × 5.7 = 2.145, loss 는 2.83 으로 줄어듭니다.

해 볼 것. ① 처음 화면(warmup + cosine, η_max 1)은 마지막 10스텝의 평균 loss 가 0.0085, 고정은 0.21 입니다. ② 스케줄을 바꿔 보세요. 계단 감쇠 0.004, 지수 감쇠 0.002, cosine 0.0084, 멈추면 줄이기 0.0075 입니다. 고정만 스무 배가 넘게 높습니다. 계단 감쇠는 30 스텝에서 학습률이 10분의 1 이 되면서 loss 도 뚝 떨어집니다. ③ η_max 를 1.5 로 올리면 warmup + cosine 만 0.012 로 살아남고, 나머지 다섯은 2 스텝째 발산합니다. ④ 2 로 올리면 warmup + cosine 도 14 스텝째 발산합니다. warmup 은 처음을 넘겨 줄 뿐, 바닥에서도 너무 큰 학습률은 막지 못합니다. ⑤ 0.01 로 내리면 고정 0.39, warmup + cosine 1 입니다. 100 스텝 안에 바닥에 닿지 못해 스케줄을 바꿔도 소용없습니다. ⑥ 0.05 의 고정은 0.0043 으로, 1 의 고정(0.21)보다 낮습니다. 작은 학습률은 느리지만 덜 흔들립니다. 이 그릇은 작아서 0.05 로도 100 스텝이면 바닥에 닿습니다.

3. 여섯 가지 스케줄

t 는 0 부터 세는 스텝 번호, T 는 전체 스텝 수(여기서 100), ⌊ ⌋ 는 소수점 아래를 버리는 내림입니다.

스케줄식이나 규칙실험의 하이퍼파라미터모양
고정η = η_max평평
계단 감쇠η = η_max × γ^⌊t ÷ s⌋s = 30, γ = 0.1s 스텝마다 한 단씩 내려가는 계단
지수 감쇠η = η_max × γ^tγ = 0.96처음에 빨리, 뒤로 갈수록 천천히 줄어든다
cosineη = η_min + (η_max − η_min) × ½(1 + cos(π·t ÷ T))η_min = η_max ÷ 10처음과 끝은 평평하고 가운데서 빨리 줄어든다
warmup + cosineW 스텝 동안 0 에서 직선으로 올린 뒤 cosine(4절)W = 10짧은 오르막 뒤 cosine
멈추면 줄이기loss 가 patience 스텝 넘게 가장 낮은 값을 넘어서지 못하면 η ← η × factorpatience 5, factor 0.5loss 를 보고 정해서 미리 알 수 없다

멈추면 줄이기만 식이 아니라 loss 를 보는 규칙입니다. 진짜 학습에서는 스텝마다가 아니라 에폭(자료 전체를 한 번 도는 것)마다 검증 loss 를 봅니다. PyTorch 문서는 학습이 멈췄을 때 학습률을 2 ~ 10 배 줄이면 도움이 되는 경우가 많다고 적습니다.

4. 식이 만들어지는 과정: warmup + cosine

조각 셋을 차례로 붙입니다. 0 에서 직선으로 올리는 조각, 1 에서 −1 로 내려가는 cos 반 물결, 그것을 0 ~ 1 로 옮기고 η_min ~ η_max 로 늘이는 조각입니다. 실험 ① 과 같은 W = 10, T = 100, η_max = 1, η_min = 0.1 을 씁니다. p 는 warmup 뒤의 스텝 가운데 얼마나 왔는가로, p = (t − W) ÷ (T − W) 이고 0 에서 1 로 갑니다.

「다음」을 누르면 식에 조각이 하나 붙고(주황 바탕이 이번에 붙은 조각), 곡선이 그만큼 바뀌고, 아래에 까닭이 나옵니다.

해 볼 것. ① 처음에는 0 에서 1 까지 오르는 직선만 있고 t = 5 의 값은 0.5 입니다. ② 「다음」을 누르면 cos 반 물결이 붙어 t = 100 에서 −1 까지 내려갑니다. t = 55 의 값은 0 입니다. ③ 한 번 더 누르면 곡선이 위로 올라가며 납작해져 1 에서 0 까지가 됩니다. t = 55 는 0.5. ④ 마지막으로 0.1 ~ 1 사이로 늘어나 끝이 η_min = 0.1 에 멈춥니다. t = 55 는 0.55 이고, 실험 ① 의 warmup + cosine 위 칸과 같은 곡선입니다.

왜 cos 일까요. 반 물결은 처음과 끝에서 천천히 바뀝니다. 그래서 큰 학습률이 처음에 오래 머물고, 끝에서는 작은 학습률에 오래 머뭅니다. cosine 스케줄은 SGDR 논문에서 왔고, PyTorch 의 CosineAnnealingLR 문서도 같은 식을 적습니다. 트랜스포머 원 논문은 warmup 뒤에 cos 이 아니라 스텝 수의 제곱근에 반비례하게 줄였습니다. warmup 다음에 무엇으로 줄일지는 고를 수 있습니다.

5. 손으로 따라가기

η_max = 1, η_min = 0.1, W = 10, T = 100 으로 스텝 몇 개의 학습률을 직접 구합니다.

t구간계산η
0warmup1 × 0 ÷ 100
5warmup1 × 5 ÷ 100.5
10cosinep = 0, cos 0 = 1, ½(1 + 1) = 1, 0.1 + 0.9 × 11
40cosinep = 30 ÷ 90 = ⅓, cos(π/3) = 0.5, ½(1 + 0.5) = 0.75, 0.1 + 0.9 × 0.750.775
55cosinep = 45 ÷ 90 = 0.5, cos(π/2) = 0, ½(1 + 0) = 0.5, 0.1 + 0.9 × 0.50.55
85cosinep = 75 ÷ 90 ≈ 0.83, cos(5π/6) ≈ −0.866, ½(1 − 0.866) ≈ 0.067, 0.1 + 0.9 × 0.0670.16
100cosinep = 1, cos π = −1, ½(1 − 1) = 0, 0.1 + 0.9 × 00.1

t = 0 은 학습률이 0 이라 첫 스텝은 움직이지 않습니다. 실험은 t = 0 ~ 99 의 100 스텝을 가므로 마지막 스텝의 학습률은 0.1 보다 아주 조금 큽니다.

6. 꼭 알아야 할 성질

성질쉬운 말실험에서
안전한 크기에는 끝이 있다굽은 정도가 a 로 일정한 그릇(a × w² ÷ 2)에서는 η 가 2 ÷ a 를 넘으면 스텝마다 바닥 반대편으로 더 멀리 튀어 발산한다바닥 근처는 a = 1 이라 η_max 2 에서 warmup + cosine 도 발산
흔들림은 학습률을 따른다기울기가 흔들리면 바닥 근처에서 학습률이 클수록 크게 흔들린다. 고정 학습률은 어느 높이 아래로 내려가지 못한다고정 1 은 0.21, 고정 0.05 는 0.0043
처음이 가장 위험하다이 그릇은 바닥에서 멀수록 벽이 가파르다. 같은 학습률도 처음에는 튀고 바닥 근처에서는 괜찮다. warmup 이 이때를 넘겨 준다η_max 1.5 에서 warmup 이 있는 스케줄만 살아남는다
너무 일찍 너무 작아지면 남은 스텝이 헛돈다끝 무렵의 학습률이 작을수록 바닥이 낮지만, 일찍 작아지면 그 뒤로는 거의 움직이지 못한다계단 감쇠(90 스텝부터 0.001)가 지수 감쇠(끝 0.018)보다 높다
대부분 전체 길이를 미리 정한다cosine 은 T, 계단은 줄일 때, 지수는 비율을 길이에 맞춘다. 멈추면 줄이기만 loss 를 보고 정한다3절의 표

진짜 신경망에서 warmup 이 왜 듣는지는 설명이 여럿입니다. 큰 배치로 학습한 논문(출처)은 학습 초반의 최적화가 어렵다고 보고 warmup 으로 이것을 넘겼습니다. 이 쪽의 「처음에 벽이 가파른 그릇」은 그 모습을 작게 줄인 본보기일 뿐, 진짜 까닭을 하나로 정해 주지는 않습니다.

7. 언제 무엇을 쓰나

스케줄좋은 점나쁜 점쓰는 경우
고정정할 숫자가 하나라 가장 단순하다끝에 흔들림이 남아 더 내려가지 못한다처음 시험해 볼 때, 알맞은 학습률을 찾을 때
계단 감쇠이해하기 쉽고, 줄이는 때가 정해져 있어 로그를 읽기 쉽다줄일 때와 배율을 따로 정해야 하고, 학습 길이가 바뀌면 다시 정해야 한다에폭 수가 정해진 학습, 예전 설정을 그대로 따라 할 때
지수 감쇠숫자 하나(γ)로 매끄럽게 줄인다처음부터 줄기 시작해 큰 학습률 구간이 짧고, γ 를 길이에 맞춰야 한다스텝마다 조금씩 꾸준히 줄이고 싶을 때
cosine큰 학습률에 오래 머물다 끝에서 부드럽게 줄어든다. 정할 것은 끝값 하나전체 스텝 수 T 를 미리 알아야 하고, 중간에 늘리기 어렵다학습 길이를 미리 정할 수 있을 때
warmup + cosine처음의 불안을 넘겨 더 큰 최댓값을 쓸 수 있다W 를 하나 더 정해야 하고, 처음 몇 스텝은 느리다트랜스포머처럼 처음이 불안한 학습, 큰 배치 학습
멈추면 줄이기길이를 몰라도 되고 loss 를 보고 줄인다검증 loss 가 흔들리면 너무 일찍 줄이고, 멈춘 것을 알아채는 동안 스텝이 헛돈다학습 길이를 미리 정하기 어려울 때, 에폭마다 검증 loss 를 잴 때

어디에 쓰나

신경망을 학습하는 코드 대부분에 스케줄이 있습니다. PyTorch 에서는 torch.optim.lr_scheduler 아래에 StepLR(계단), ExponentialLR(지수), CosineAnnealingLR(cosine), ReduceLROnPlateau(멈추면 줄이기)가 있습니다. 실험의 warmup + cosine 은 배율 함수를 직접 주는 LambdaLR 로 그대로 쓸 수 있습니다. LambdaLR 은 처음 학습률(lr, 여기서 η_max)에 함수가 돌려준 배율을 곱합니다.

import math, torch
W, T = 10, 100
def rate_factor(t):                      # η_max 에 곱할 배율
    if t < W:
        return t / W
    p = (t - W) / (T - W)
    return 0.1 + 0.9 * 0.5 * (1 + math.cos(math.pi * p))

optimizer = torch.optim.SGD(model.parameters(), lr=1.0)    # lr 이 η_max
scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, rate_factor)
for t in range(T):
    ...                                  # loss 를 구하고 loss.backward()
    optimizer.step()
    scheduler.step()                     # 다음 스텝의 학습률로 바꾼다

ReduceLROnPlateau 는 loss 를 봐야 하므로 scheduler.step(val_loss) 처럼 검증 loss 를 넘겨 부릅니다.

자주 묻는 것

Adam 을 쓰면 학습률 스케줄이 필요 없나요?

아닙니다. Adam 은 가중치마다 스텝의 크기를 따로 맞추지만, 그 위에 곱하는 학습률 하나는 그대로 있고 스케줄은 그 숫자에 겁니다. 트랜스포머 원 논문도 Adam 에 처음에는 직선으로 올리고 그 뒤 줄이는 스케줄을 붙였습니다.

warmup 은 몇 스텝이 알맞나요?

정해진 값은 없습니다. 트랜스포머 원 논문은 4000 스텝을 썼습니다. 처음 몇 스텝에서 loss 가 치솟거나 NaN 이 나오면 warmup 을 늘리거나 최댓값을 줄여 봅니다. 너무 길면 큰 학습률로 배우는 스텝이 줄어듭니다.

cosine 스케줄이 끝난 뒤 더 학습하고 싶으면 어떻게 하나요?

cosine 은 총 스텝 수 T 를 미리 정하고 그 끝에서 η_min 에 닿게 짠 스케줄입니다. 더 학습하려면 T 를 늘려 처음부터 다시 짜거나, 학습률을 다시 크게 올린 뒤 cosine 으로 다시 내리는 방법(warm restart, SGDR 논문)을 씁니다. 길이를 미리 정하기 어려우면 멈추면 줄이기가 편합니다.

낱말

여기서 쓴 말책에서 부르는 말
한 스텝의 크기학습률(learning rate, η, lr), 스텝 크기(step size)
스텝마다 학습률을 정하는 규칙학습률 스케줄(learning rate schedule), 스케줄러(scheduler)
줄이기감쇠(decay), 어닐링(annealing)
처음에 천천히 올리기워밍업(warmup)
계단처럼 줄이기 · 비율로 줄이기계단 감쇠(step decay) · 지수 감쇠(exponential decay)
cos 모양으로 줄이기코사인 어닐링(cosine annealing), 코사인 감쇠(cosine decay)
멈추면 줄이기, 기다리는 스텝 수ReduceLROnPlateau, patience
다시 크게 올리기웜 리스타트(warm restart)
가중치를 한 번 고치기 · 자료 전체를 한 번 돌기스텝, 반복(step, iteration) · 에폭(epoch)
그릇이 굽은 정도곡률(curvature)
튀어서 점점 커짐발산(divergence)
기울기의 흔들림확률적 경사의 잡음(gradient noise)

출처

← 가중치 초기화배치 크기와 기울기 누적 →