학습 루프: 한 스텝, 한 에폭

역전파, 경사 하강법, 배치, 드롭아웃, 조기 종료는 이 사이트의 여러 쪽에 따로 있습니다. 이 쪽은 그 조각들이 학습 코드 한 바퀴 안에서 어느 자리에 들어가는지 보여 주는 지도입니다.

한 줄 답. 학습은 「배치(batch)를 꺼낸다 → 맞혀 본다 → 얼마나 틀렸는지 잰다 → 틀린 만큼의 기울기(그래디언트)를 구한다 → 가중치를 조금 고친다」를 되풀이하는 루프(loop)입니다. 가중치를 한 번 고치는 것이 한 스텝(step)이고, 자료를 한 번 다 쓰면 한 에폭입니다. 에폭이 끝날 때마다 따로 둔 자료로 검증합니다.

「다음」을 누를 때마다 루프를 한 칸 갑니다. 주황은 지금 칸과 지금 배치(「지금」), 초록과 ✓ 는 이번 에폭에 이미 쓴 배치, 보라와 점선은 검증입니다. 띠의 숫자는 자료 번호입니다. 모델은 가중치 w 하나짜리 ŷ = w·x, 손실은 제곱 오차의 평균, 학습률 η = 0.05, 배치 크기 4, 학습 자료 16개와 따로 둔 검증 자료 4개입니다. 자료는 지어낸 것(y ≈ 2x)이고, 섞는 순서는 고정 시드(seed)라 쪽을 열 때마다 같습니다.

해 볼 것. ① 처음 칸은 에폭 1 의 첫 배치(자료 #9 #8 #12 #4)입니다. 「다음」을 네 번 누르면 고치기 칸에서 기울기 −6.16 으로 w 가 0 에서 0.308 로 바뀌고 스텝 수가 1 이 됩니다. ② 20번째 칸(배치 4 의 고치기)에서 w = 0.988 입니다. 다음 칸에서 띠를 다 써서 검증으로 빠지고, 검증 손실 1.78 이 찍힙니다. 이 칸에서는 w 가 바뀌지 않습니다. ③ 그다음 칸에서 에폭 2 가 다르게 섞인 순서(#15 #16 #1 #13 …)로 시작합니다. ④ 마지막 63번째 칸에서 스텝 수는 12, w = 1.746 이고, 검증 손실은 1.78 → 0.454 → 0.121 로 에폭마다 줄었습니다. w 가 2 쪽으로 다가가는 중입니다.

1. 학습 루프란

PyTorch 튜토리얼은 모델 학습을 「되풀이하는 과정」이라고 적습니다. 한 번 돌 때마다 모델이 출력을 짐작하고, 그 짐작이 얼마나 틀렸는지(손실) 재고, 매개변수에 대한 오차의 미분(기울기)을 모으고, 경사 하강법으로 매개변수를 고칩니다. 실험 ① 의 모델로 적으면 이렇습니다.

ŷᵢ = w · xᵢ                                  순전파: 맞혀 본 값
L  = (1/B) · Σᵢ (ŷᵢ − yᵢ)²                   손실: 배치의 제곱 오차 평균
g  = dL/dw = (1/B) · Σᵢ 2 (ŷᵢ − yᵢ) · xᵢ      역전파: 손실의 기울기
w ← w − η · g                                고치기

실험의 모델은 식이 짧아 g 를 바로 미분해 적었습니다. 층이 많은 신경망에서는 역전파가 이 미분을 칸마다 나눠 셈합니다.

튜토리얼은 이 루프의 한 번 되풀이를 에폭이라 부르고, 에폭을 두 부분으로 나눕니다.

실험 ① 의 위 다섯 칸이 학습 부분, 점선 칸이 검증 부분입니다. 검증 부분은 맞혀 보고 손실을 재기만 하고 w 를 고치지 않습니다. 자료를 나누는 법은 자료 나누기, 검증 손실로 멈출 때를 정하는 법은 조기 종료에 있습니다.

2. 기울기를 왜 지우나

고치기 칸에는 두 줄이 있습니다. optimizer.step() 은 모아 둔 기울기로 매개변수를 고치고, optimizer.zero_grad() 는 기울기를 0 으로 되돌립니다. 튜토리얼의 말로 「기울기는 기본으로 더해진다. 두 번 세지 않도록 되풀이마다 일부러 0 으로 만든다」. loss.backward() 가 매개변수마다 손실의 기울기를 넣을 때, 이미 있던 값을 지우지 않고 그 위에 더한다는 뜻입니다.

실험 ① 의 처음 두 스텝으로 보면 이렇습니다.

스텝이번 배치의 기울기지우면: 쓰는 기울기 → 새 w지우지 않으면: 쓰는 기울기 → 새 w
1 (배치 1, w = 0)g₁ = −6.16−6.16 → 0.308−6.16 → 0.308
2 (배치 2, w = 0.308)g₂ = −6.017−6.017 → 0.609g₁ + g₂ = −12.177 → 0.917

지우지 않으면 두 번째 스텝이 배치 1 의 기울기를 한 번 더 써서, 고치는 폭이 두 배쯤 됩니다. 스텝이 이어질수록 지난 배치들의 기울기가 모두 다시 더해집니다. 튜토리얼의 코드는 loss.backward() → optimizer.step() → optimizer.zero_grad() 순서입니다. 일부러 지우지 않고 여러 배치의 기울기를 모으는 방법은 배치 크기와 기울기 누적에 있습니다.

3. 에폭, 배치, 스텝

낱말뜻실험 ① 에서
배치가중치를 한 번 고칠 때 보는 예제 묶음. 튜토리얼의 말로 배치 크기는 「매개변수를 고치기 전에 신경망을 지나가는 자료 수」자료 4개. 띠의 괄호 하나
스텝가중치를 한 번 고치는 것. 배치 하나에 한 스텝고치기 칸을 지날 때마다 스텝 수 +1
에폭학습 자료 전체를 한 번씩 다 보는 것. 튜토리얼의 말로 에폭 수는 「자료를 되풀이해 도는 횟수」띠 16칸을 다 쓰면 검증하고 끝낸 에폭 +1
학습률튜토리얼의 말로 「배치·에폭마다 매개변수를 얼마나 고칠지」η = 0.05
한 에폭의 스텝 수 = ⌈N ÷ B⌉

실험은 ⌈16 ÷ 4⌉ = 4 스텝이 한 에폭이고, 3 에폭이면 12 스텝입니다. 자료가 18개였다면 ⌈18 ÷ 4⌉ = 5 스텝(마지막 배치는 2개)입니다. 배치 크기를 바꾸면 무엇이 달라지는지는 배치 크기와 기울기 누적에 있습니다.

4. 지도: 칸마다 자세히 보는 곳

칸코드하는 일자세히
배치 꺼내기for X, y in dataloader학습 자료에서 다음 배치를 꺼낸다배치 크기와 기울기 누적
순전파pred = model(X)지금 가중치로 맞혀 본다신경망
손실loss = loss_fn(pred, y)틀린 정도를 숫자 하나로 모은다. 분류와 회귀가 쓰는 손실이 다르다교차 엔트로피, 회귀의 손실
역전파loss.backward()손실의 기울기를 매개변수마다 구한다역전파
고치기optimizer.step()
optimizer.zero_grad()
기울기의 반대쪽으로 조금 고치고 기울기를 지운다. 고치는 폭은 학습률이 정하고, 학습률을 언제 줄일지와 가중치를 작게 누르는 벌점은 따로 정한다경사 하강법, 학습률 스케줄, 가중치 감쇠
학습·평가 모드model.train()
model.eval()
드롭아웃과 배치 정규화가 학습 때와 평가 때 다르게 움직인다드롭아웃, 배치 정규화와 레이어 정규화
검증과 멈추기torch.no_grad()에폭 끝에 떼어 둔 자료로 검증 손실을 재고, 나아지지 않으면 멈춘다자료 나누기, 조기 종료, 과적합

5. 코드로: train_loop 와 test_loop

PyTorch 튜토리얼의 두 함수를 줄인 것입니다. 줄마다 실험 ① 의 칸이 하나씩 맞습니다.

def train_loop(dataloader, model, loss_fn, optimizer):
    model.train()                    # 학습 모드: 드롭아웃·배치 정규화에 중요
    for X, y in dataloader:          # 배치 꺼내기
        pred = model(X)              # 순전파
        loss = loss_fn(pred, y)      # 손실
        loss.backward()              # 역전파: 매개변수마다 기울기를 더해 둔다
        optimizer.step()             # 고치기
        optimizer.zero_grad()        # 기울기를 0 으로

def test_loop(dataloader, model, loss_fn):
    model.eval()                     # 평가 모드
    total = 0
    with torch.no_grad():            # 기울기를 셈하지 않는다
        for X, y in dataloader:
            total += loss_fn(model(X), y).item()
    return total / len(dataloader)   # 배치마다 잰 손실의 평균

optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
for epoch in range(epochs):          # 에폭마다: 학습 루프, 그다음 검증 루프
    train_loop(train_dataloader, model, loss_fn, optimizer)
    val_loss = test_loop(val_dataloader, model, loss_fn)

model.eval() 과 torch.no_grad() 는 하는 일이 다릅니다. 튜토리얼은 torch.no_grad() 를 「시험할 때 기울기를 셈하지 않게 한다」고 적고, model.train() 을 「배치 정규화와 드롭아웃 층에 중요하다」고 적습니다.

어디에 쓰나

PyTorch 튜토리얼이 적는 모델 학습은 이 루프의 되풀이입니다(1절). 실험 ① 은 가중치 하나짜리지만, 층이 많은 신경망도 같은 칸을 돌고, 기울기만 역전파가 칸마다 나눠 셈합니다. 학습 코드를 읽을 때는 5절의 train_loop 와 test_loop 처럼 줄마다 루프의 어느 칸인지 맞춰 보면 됩니다. 손실, 학습률 스케줄, 드롭아웃, 조기 종료 같은 조각이 어느 칸에 들어가는지는 4절 지도에 있습니다. 학습률이나 감쇠 세기처럼 이 루프가 스스로 정하지 못하는 값은 후보마다 루프를 끝까지 돌려 보는 하이퍼파라미터 찾기로 고릅니다.

자주 묻는 것

zero_grad 를 backward 앞에 두는 코드도 있는데 무엇이 맞나요?

둘 다 됩니다. 지킬 것은 하나, 다음 backward() 전에 지난 기울기를 지우는 것입니다. PyTorch 튜토리얼은 backward → step → zero_grad 순서로 루프의 끝에서 지웁니다. 일부러 지우지 않고 여러 배치의 기울기를 모으는 방법도 있습니다(배치 크기와 기울기 누적).

검증할 때 model.eval() 과 torch.no_grad() 를 둘 다 써야 하나요?

네. 하는 일이 다릅니다. model.eval() 은 드롭아웃과 배치 정규화를 평가 때의 동작으로 바꾸고, torch.no_grad() 는 기울기 계산을 끕니다. torch.no_grad() 만 쓰면 드롭아웃이 켜진 채로 검증합니다(드롭아웃).

검증 칸에서는 왜 가중치를 고치지 않나요?

검증 자료는 처음 보는 자료에서 얼마나 잘하는지 재려고 떼어 둔 것입니다. 그것으로 고치면 모델이 그 자료를 본 셈이 되어, 검증 손실이 더는 처음 보는 자료의 성적을 말해 주지 못합니다. 튜토리얼도 검증·시험 부분을 모델이 나아지는지 보는 일로 적습니다.

낱말

여기서 쓴 말책·코드에서 부르는 말
배치를 꺼내 고치기까지 되풀이하는 한 바퀴학습 루프(training loop). 튜토리얼은 optimization loop 라 부르고, 한 번 도는 것을 train loop 와 validation/test loop 로 나눈다
한 번에 꺼내는 예제 묶음과 그 크기배치(batch), 배치 크기(batch size)
가중치를 한 번 고치기스텝(step)
자료를 한 바퀴 다 쓰기에폭(epoch)
맞혀 보기순전파(forward pass)
기울기 구하기역전파(backward pass, backpropagation)
고치는 일을 맡은 것옵티마이저(optimizer)
한 번에 고치는 폭학습률(learning rate)
배우는 값매개변수, 가중치(parameters, weights)
학습 모드, 평가 모드model.train(), model.eval()

출처

← 강화학습활성화 함수 →