학습 루프: 한 스텝, 한 에폭
역전파, 경사 하강법, 배치, 드롭아웃, 조기 종료는 이 사이트의 여러 쪽에 따로 있습니다. 이 쪽은 그 조각들이 학습 코드 한 바퀴 안에서 어느 자리에 들어가는지 보여 주는 지도입니다.
한 줄 답. 학습은 「배치(batch)를 꺼낸다 → 맞혀 본다 → 얼마나 틀렸는지 잰다 → 틀린 만큼의 기울기(그래디언트)를 구한다 → 가중치를 조금 고친다」를 되풀이하는 루프(loop)입니다. 가중치를 한 번 고치는 것이 한 스텝(step)이고, 자료를 한 번 다 쓰면 한 에폭입니다. 에폭이 끝날 때마다 따로 둔 자료로 검증합니다.
「다음」을 누를 때마다 루프를 한 칸 갑니다. 주황은 지금 칸과 지금 배치(「지금」), 초록과 ✓ 는 이번 에폭에 이미 쓴 배치, 보라와 점선은 검증입니다. 띠의 숫자는 자료 번호입니다. 모델은 가중치 w 하나짜리 ŷ = w·x, 손실은 제곱 오차의 평균, 학습률 η = 0.05, 배치 크기 4, 학습 자료 16개와 따로 둔 검증 자료 4개입니다. 자료는 지어낸 것(y ≈ 2x)이고, 섞는 순서는 고정 시드(seed)라 쪽을 열 때마다 같습니다.
해 볼 것. ① 처음 칸은 에폭 1 의 첫 배치(자료 #9 #8 #12 #4)입니다. 「다음」을 네 번 누르면 고치기 칸에서 기울기 −6.16 으로 w 가 0 에서 0.308 로 바뀌고 스텝 수가 1 이 됩니다. ② 20번째 칸(배치 4 의 고치기)에서 w = 0.988 입니다. 다음 칸에서 띠를 다 써서 검증으로 빠지고, 검증 손실 1.78 이 찍힙니다. 이 칸에서는 w 가 바뀌지 않습니다. ③ 그다음 칸에서 에폭 2 가 다르게 섞인 순서(#15 #16 #1 #13 …)로 시작합니다. ④ 마지막 63번째 칸에서 스텝 수는 12, w = 1.746 이고, 검증 손실은 1.78 → 0.454 → 0.121 로 에폭마다 줄었습니다. w 가 2 쪽으로 다가가는 중입니다.
1. 학습 루프란
PyTorch 튜토리얼은 모델 학습을 「되풀이하는 과정」이라고 적습니다. 한 번 돌 때마다 모델이 출력을 짐작하고, 그 짐작이 얼마나 틀렸는지(손실) 재고, 매개변수에 대한 오차의 미분(기울기)을 모으고, 경사 하강법으로 매개변수를 고칩니다. 실험 ① 의 모델로 적으면 이렇습니다.
ŷᵢ = w · xᵢ 순전파: 맞혀 본 값
L = (1/B) · Σᵢ (ŷᵢ − yᵢ)² 손실: 배치의 제곱 오차 평균
g = dL/dw = (1/B) · Σᵢ 2 (ŷᵢ − yᵢ) · xᵢ 역전파: 손실의 기울기
w ← w − η · g 고치기
w: 가중치. 이 모델이 배우는 값은 이것 하나입니다.xᵢ,yᵢ: 배치의 i 번째 예제의 입력과 정답.ŷᵢ: 모델이 맞혀 본 값.B: 배치 크기. 실험은 4.Σᵢ: 배치의 예제마다 더한다.L: 손실. 틀린 정도를 숫자 하나로 모은 것.g: 기울기. w 를 조금 키울 때 손실이 바뀌는 정도.η: 학습률. 한 번에 얼마나 고칠지. 실험은 0.05.
실험의 모델은 식이 짧아 g 를 바로 미분해 적었습니다. 층이 많은 신경망에서는 역전파가 이 미분을 칸마다 나눠 셈합니다.
튜토리얼은 이 루프의 한 번 되풀이를 에폭이라 부르고, 에폭을 두 부분으로 나눕니다.
- 학습 부분(Train Loop): 학습 자료를 돌며 가장 좋은 매개변수로 다가간다.
- 검증·시험 부분(Validation/Test Loop): 시험 자료를 돌며 모델이 나아지는지 본다.
실험 ① 의 위 다섯 칸이 학습 부분, 점선 칸이 검증 부분입니다. 검증 부분은 맞혀 보고 손실을 재기만 하고 w 를 고치지 않습니다. 자료를 나누는 법은 자료 나누기, 검증 손실로 멈출 때를 정하는 법은 조기 종료에 있습니다.
2. 기울기를 왜 지우나
고치기 칸에는 두 줄이 있습니다. optimizer.step() 은 모아 둔 기울기로 매개변수를 고치고, optimizer.zero_grad() 는 기울기를 0 으로 되돌립니다. 튜토리얼의 말로 「기울기는 기본으로 더해진다. 두 번 세지 않도록 되풀이마다 일부러 0 으로 만든다」. loss.backward() 가 매개변수마다 손실의 기울기를 넣을 때, 이미 있던 값을 지우지 않고 그 위에 더한다는 뜻입니다.
실험 ① 의 처음 두 스텝으로 보면 이렇습니다.
| 스텝 | 이번 배치의 기울기 | 지우면: 쓰는 기울기 → 새 w | 지우지 않으면: 쓰는 기울기 → 새 w |
|---|---|---|---|
| 1 (배치 1, w = 0) | g₁ = −6.16 | −6.16 → 0.308 | −6.16 → 0.308 |
| 2 (배치 2, w = 0.308) | g₂ = −6.017 | −6.017 → 0.609 | g₁ + g₂ = −12.177 → 0.917 |
지우지 않으면 두 번째 스텝이 배치 1 의 기울기를 한 번 더 써서, 고치는 폭이 두 배쯤 됩니다. 스텝이 이어질수록 지난 배치들의 기울기가 모두 다시 더해집니다. 튜토리얼의 코드는 loss.backward() → optimizer.step() → optimizer.zero_grad() 순서입니다. 일부러 지우지 않고 여러 배치의 기울기를 모으는 방법은 배치 크기와 기울기 누적에 있습니다.
3. 에폭, 배치, 스텝
| 낱말 | 뜻 | 실험 ① 에서 |
|---|---|---|
| 배치 | 가중치를 한 번 고칠 때 보는 예제 묶음. 튜토리얼의 말로 배치 크기는 「매개변수를 고치기 전에 신경망을 지나가는 자료 수」 | 자료 4개. 띠의 괄호 하나 |
| 스텝 | 가중치를 한 번 고치는 것. 배치 하나에 한 스텝 | 고치기 칸을 지날 때마다 스텝 수 +1 |
| 에폭 | 학습 자료 전체를 한 번씩 다 보는 것. 튜토리얼의 말로 에폭 수는 「자료를 되풀이해 도는 횟수」 | 띠 16칸을 다 쓰면 검증하고 끝낸 에폭 +1 |
| 학습률 | 튜토리얼의 말로 「배치·에폭마다 매개변수를 얼마나 고칠지」 | η = 0.05 |
한 에폭의 스텝 수 = ⌈N ÷ B⌉
N: 학습 자료 수. 실험은 16.B: 배치 크기. 실험은 4.⌈ ⌉: 올림. 나누어떨어지지 않으면 마지막 배치가 작아지고, 그 배치도 한 스텝입니다.
실험은 ⌈16 ÷ 4⌉ = 4 스텝이 한 에폭이고, 3 에폭이면 12 스텝입니다. 자료가 18개였다면 ⌈18 ÷ 4⌉ = 5 스텝(마지막 배치는 2개)입니다. 배치 크기를 바꾸면 무엇이 달라지는지는 배치 크기와 기울기 누적에 있습니다.
4. 지도: 칸마다 자세히 보는 곳
| 칸 | 코드 | 하는 일 | 자세히 |
|---|---|---|---|
| 배치 꺼내기 | for X, y in dataloader | 학습 자료에서 다음 배치를 꺼낸다 | 배치 크기와 기울기 누적 |
| 순전파 | pred = model(X) | 지금 가중치로 맞혀 본다 | 신경망 |
| 손실 | loss = loss_fn(pred, y) | 틀린 정도를 숫자 하나로 모은다. 분류와 회귀가 쓰는 손실이 다르다 | 교차 엔트로피, 회귀의 손실 |
| 역전파 | loss.backward() | 손실의 기울기를 매개변수마다 구한다 | 역전파 |
| 고치기 | optimizer.step()optimizer.zero_grad() | 기울기의 반대쪽으로 조금 고치고 기울기를 지운다. 고치는 폭은 학습률이 정하고, 학습률을 언제 줄일지와 가중치를 작게 누르는 벌점은 따로 정한다 | 경사 하강법, 학습률 스케줄, 가중치 감쇠 |
| 학습·평가 모드 | model.train()model.eval() | 드롭아웃과 배치 정규화가 학습 때와 평가 때 다르게 움직인다 | 드롭아웃, 배치 정규화와 레이어 정규화 |
| 검증과 멈추기 | torch.no_grad() | 에폭 끝에 떼어 둔 자료로 검증 손실을 재고, 나아지지 않으면 멈춘다 | 자료 나누기, 조기 종료, 과적합 |
5. 코드로: train_loop 와 test_loop
PyTorch 튜토리얼의 두 함수를 줄인 것입니다. 줄마다 실험 ① 의 칸이 하나씩 맞습니다.
def train_loop(dataloader, model, loss_fn, optimizer):
model.train() # 학습 모드: 드롭아웃·배치 정규화에 중요
for X, y in dataloader: # 배치 꺼내기
pred = model(X) # 순전파
loss = loss_fn(pred, y) # 손실
loss.backward() # 역전파: 매개변수마다 기울기를 더해 둔다
optimizer.step() # 고치기
optimizer.zero_grad() # 기울기를 0 으로
def test_loop(dataloader, model, loss_fn):
model.eval() # 평가 모드
total = 0
with torch.no_grad(): # 기울기를 셈하지 않는다
for X, y in dataloader:
total += loss_fn(model(X), y).item()
return total / len(dataloader) # 배치마다 잰 손실의 평균
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
for epoch in range(epochs): # 에폭마다: 학습 루프, 그다음 검증 루프
train_loop(train_dataloader, model, loss_fn, optimizer)
val_loss = test_loop(val_dataloader, model, loss_fn)
model.eval() 과 torch.no_grad() 는 하는 일이 다릅니다. 튜토리얼은 torch.no_grad() 를 「시험할 때 기울기를 셈하지 않게 한다」고 적고, model.train() 을 「배치 정규화와 드롭아웃 층에 중요하다」고 적습니다.
어디에 쓰나
PyTorch 튜토리얼이 적는 모델 학습은 이 루프의 되풀이입니다(1절). 실험 ① 은 가중치 하나짜리지만, 층이 많은 신경망도 같은 칸을 돌고, 기울기만 역전파가 칸마다 나눠 셈합니다. 학습 코드를 읽을 때는 5절의 train_loop 와 test_loop 처럼 줄마다 루프의 어느 칸인지 맞춰 보면 됩니다. 손실, 학습률 스케줄, 드롭아웃, 조기 종료 같은 조각이 어느 칸에 들어가는지는 4절 지도에 있습니다. 학습률이나 감쇠 세기처럼 이 루프가 스스로 정하지 못하는 값은 후보마다 루프를 끝까지 돌려 보는 하이퍼파라미터 찾기로 고릅니다.
자주 묻는 것
zero_grad 를 backward 앞에 두는 코드도 있는데 무엇이 맞나요?
둘 다 됩니다. 지킬 것은 하나, 다음 backward() 전에 지난 기울기를 지우는 것입니다. PyTorch 튜토리얼은 backward → step → zero_grad 순서로 루프의 끝에서 지웁니다. 일부러 지우지 않고 여러 배치의 기울기를 모으는 방법도 있습니다(배치 크기와 기울기 누적).
검증할 때 model.eval() 과 torch.no_grad() 를 둘 다 써야 하나요?
네. 하는 일이 다릅니다. model.eval() 은 드롭아웃과 배치 정규화를 평가 때의 동작으로 바꾸고, torch.no_grad() 는 기울기 계산을 끕니다. torch.no_grad() 만 쓰면 드롭아웃이 켜진 채로 검증합니다(드롭아웃).
검증 칸에서는 왜 가중치를 고치지 않나요?
검증 자료는 처음 보는 자료에서 얼마나 잘하는지 재려고 떼어 둔 것입니다. 그것으로 고치면 모델이 그 자료를 본 셈이 되어, 검증 손실이 더는 처음 보는 자료의 성적을 말해 주지 못합니다. 튜토리얼도 검증·시험 부분을 모델이 나아지는지 보는 일로 적습니다.
낱말
| 여기서 쓴 말 | 책·코드에서 부르는 말 |
|---|---|
| 배치를 꺼내 고치기까지 되풀이하는 한 바퀴 | 학습 루프(training loop). 튜토리얼은 optimization loop 라 부르고, 한 번 도는 것을 train loop 와 validation/test loop 로 나눈다 |
| 한 번에 꺼내는 예제 묶음과 그 크기 | 배치(batch), 배치 크기(batch size) |
| 가중치를 한 번 고치기 | 스텝(step) |
| 자료를 한 바퀴 다 쓰기 | 에폭(epoch) |
| 맞혀 보기 | 순전파(forward pass) |
| 기울기 구하기 | 역전파(backward pass, backpropagation) |
| 고치는 일을 맡은 것 | 옵티마이저(optimizer) |
| 한 번에 고치는 폭 | 학습률(learning rate) |
| 배우는 값 | 매개변수, 가중치(parameters, weights) |
| 학습 모드, 평가 모드 | model.train(), model.eval() |
출처
- PyTorch 튜토리얼: Optimizing Model Parameters(학습은 되풀이하는 과정, 에폭 수·배치 크기·학습률의 뜻, 에폭과 학습 루프·검증·시험 루프,
zero_grad·backward·step과 그 순서, 기울기는 기본으로 더해진다는 말,model.train()·model.eval()·torch.no_grad()).