조기 종료와 학습 곡선 읽기

학습을 몇 에폭 돌려야 할지 미리 알 수 없습니다. 너무 적으면 덜 배우고, 너무 많으면 학습 자료를 외워 처음 보는 자료에서 틀립니다. 학습 손실과 검증 손실을 같이 그려 보면 지금 어느 쪽인지 보이고, 언제 멈출지도 정할 수 있습니다.

한 줄 답. 학습 곡선은 에폭마다 학습 손실과 검증 손실을 같이 찍은 그래프입니다. 두 선의 높이와 간격을 보면 덜 배웠는지, 외우기 시작했는지, 학습이 흔들리는지 알 수 있습니다. 조기 종료는 검증 손실이 가장 좋았던 값보다 p 번 연속으로 나아지지 않으면 학습을 멈추고, 가장 좋았던 에폭의 가중치로 되돌리는 규칙입니다. p 를 참을성(patience)이라고 부릅니다.

위 단추로 곡선 모양을 고르고, 막대나 숫자 칸으로 참을성을 1 ~ 20 사이에서 바꿔 보세요. 곡선은 지어낸 것입니다. 매끈한 곡선에 고정 시드(seed)의 잡음을 얹어 쪽을 열 때마다 같습니다. 진짜 모델을 학습한 것이 아닌 작게 줄인 본보기입니다. 진짜 학습에서는 앞으로의 곡선을 알 수 없어서, 멈춘 뒤의 옅은 부분과 「가장 낮은 곳」 동그라미는 보이지 않습니다.

해 볼 것. ① 처음(벌어짐, 참을성 5)은 에폭 29 에서 멈추고 에폭 24(검증 손실 0.76)의 가중치로 되돌립니다. 끝까지 돌렸을 때 가장 낮은 곳도 에폭 24 이고, 31 에폭을 돌리지 않았습니다. ② 참을성을 1 로 두면 에폭 14 에서 멈추고 에폭 13(0.93)으로, 3 으로 두면 에폭 22 에서 멈추고 에폭 19(0.79)로 되돌립니다. 둘 다 바닥보다 일찍 멈췄습니다. 20 으로 두면 에폭 44 까지 가지만 되돌릴 곳은 똑같이 에폭 24 입니다. ③ 「검증이 흔들림」에서 참을성 1 은 에폭 4 에서 멈춥니다(1.6). 5 면 에폭 29 에서 멈추고 에폭 24(0.56), 10 이면 에폭 52 에서 멈추고 에폭 42(0.43)를 고릅니다. ④ 「둘 다 높음」은 참을성 8 부터 멈추지 않고 끝까지 돌아도 검증 손실이 0.97 입니다. ⑤ 「검증이 더 낮음」은 60 에폭 내내 파란 선이 초록 선 아래에 있습니다.

1. 학습 곡선과 조기 종료란

손실은 모델이 틀린 정도를 숫자 하나로 낸 것입니다. 낮을수록 좋습니다. 에폭은 학습 자료를 처음부터 끝까지 한 바퀴 도는 것입니다. 에폭이 끝날 때마다 손실을 두 가지로 잽니다.

두 손실을 에폭마다 찍어 이은 그래프가 학습 곡선입니다. 학습 손실만 보면 늘 잘 되는 것처럼 보입니다. 검증 손실을 같이 봐야 모델이 배우는지, 외우는지(과적합) 구별됩니다.

조기 종료는 검증 손실을 보며 학습을 멈출 때를 정하는 규칙입니다. 에폭 수를 미리 정하지 않고, 검증 손실이 더 나아지지 않으면 멈춥니다. 그리고 마지막 가중치가 아니라 검증 손실이 가장 좋았던 에폭의 가중치를 씁니다.

2. 곡선 모양 읽기: 언제 무엇을 하나

위 실험의 단추 넷이 자주 보는 모양입니다. 모양마다 뜻과 할 일이 다릅니다. 조기 종료가 답인 것은 그중 하나뿐입니다.

곡선 모양무슨 뜻할 일조심할 것
둘 다 높고 붙어 있다과소적합(underfitting). 모델이 약하거나 학습이 덜 됐다모델을 키운다. 학습률을 맞춘다(학습률 스케줄). 드롭아웃이나 벌점이 세면 줄인다조기 종료는 도움이 안 된다. 더 기다려도 조금밖에 내려가지 않는다
둘 다 아직 내려가는 중덜 돌렸다에폭을 늘린다조기 종료가 멈추지 않는 것이 정상이다
학습은 내려가고 검증은 다시 올라 벌어진다과적합. 학습 자료를 외우기 시작했다조기 종료와 되돌리기. 드롭아웃, 가중치 감쇠, 데이터 증강(data augmentation)을 같이 본다바닥에서 멈춰도 벌어짐 자체는 남는다. 벌어짐을 줄이는 것은 다른 방법들의 일이다
검증이 크게 흔들린다학습률이 크거나, 배치(batch)가 작거나, 검증 자료가 적다학습률을 줄이거나 스케줄로 낮춘다. 배치나 검증 자료를 키운다. 참을성을 키운다참을성이 작으면 잡음 한 번에 속아 일찍 멈춘다
검증이 학습보다 낮다드롭아웃과 가중치 벌점은 학습할 때만 켜진다. 학습 손실은 한 에폭 동안의 평균이라 나아지기 전의 값이 섞인다대개 그대로 둔다차이가 크면 검증 자료가 더 쉽거나 학습 자료와 겹치지 않았는지 나누기를 확인한다(자료 나누기)

「검증이 학습보다 낮다」의 두 까닭은 Keras 문서의 자주 묻는 것에 그대로 적혀 있습니다(출처). 검증 손실은 에폭이 끝난 뒤의 모델로 재고, 학습 손실은 에폭 안의 배치마다 잰 값의 평균이라 앞쪽 배치의 높은 값이 섞입니다.

3. 규칙이 만들어지는 과정

「검증 손실이 나아지지 않으면 멈춘다」는 말은 쉽지만, 그대로 하면 잡음에 속습니다. 위 실험의 「벌어짐」 곡선으로 규칙을 한 단계씩 고쳐 갑니다. 식에서 val[t] 는 에폭 t 의 검증 손실, t* 는 지금까지 검증 손실이 가장 낮았던 에폭, w[t*] 는 그때 저장해 둔 가중치입니다.

  1. 처음 오르면 멈추기: val[t] > val[t−1] → stop. 가장 단순한 규칙입니다. 에폭 14 의 검증 손실이 1 로, 직전의 0.93 보다 올라 여기서 멈춥니다. 그런데 바닥은 에폭 24(0.76)입니다. 까닭: 검증 손실에는 잡음이 있어서, 내려가는 중에도 한 번씩 오릅니다. 한 번 오른 것은 「바닥을 지났다」는 증거가 못 됩니다.
  2. p 번 참기: t − t* ≥ p → stop. 직전 값이 아니라 지금까지 가장 좋았던 값과 비교하고, 그보다 나아지지 않은 에폭이 p 번 이어지면 멈춥니다. 새 최고가 나오면 셈을 0 으로 돌립니다. p = 5 이면 에폭 24 가 가장 좋았고, 25 ~ 29 의 다섯 번이 모두 0.76 보다 높아 에폭 29 에서 멈춥니다. 까닭: 잡음으로 한두 번 오른 것은 곧 새 최고에 덮이고, 진짜로 바닥을 지났을 때만 셈이 p 까지 쌓입니다.
  3. 가장 좋았던 때로 되돌리기: w ← w[t*]. 에폭 29 의 가중치는 바닥에서 5 에폭 지나 검증 손실이 0.83 입니다. 그래서 에폭 24 에 저장해 둔 가중치(0.76)로 되돌립니다. 까닭: 참는 동안 모델은 이미 외우기 시작했습니다. 멈춘 때의 가중치를 그대로 쓰면 참은 만큼 나빠진 모델을 씁니다.

완성된 규칙은 교과서 『Deep Learning』 7.8 절의 알고리즘 7.1 과 같습니다(출처). 그 책은 p 를 「검증 오차가 나빠지는 것을 몇 번 보고 포기할지」로 적고, 검증 오차가 나아질 때마다 파라미터를 복사해 두었다가 끝나면 그것을 돌려줍니다.

해 볼 것. 「다음」을 누를 때마다 식에 조각이 붙고(주황 바탕), 그림의 멈춤 자리가 바뀝니다. ① 단계는 에폭 14 에서 멈추고 빈 동그라미(에폭 24)가 한참 뒤에 있습니다. ② 단계에서 멈춤이 에폭 29 로 가고, 주황 띠에 「참은 5번」이 나옵니다. ③ 단계에서 보라 화살표가 에폭 29 에서 에폭 24 로 돌아갑니다.

4. 손으로 따라가 보기

검증 손실이 에폭 1 부터 1.00, 0.80, 0.70, 0.72, 0.66, 0.67, 0.69, 0.68, 0.70 으로 나왔다고 합시다. 참을성 p = 3 입니다.

에폭검증 손실가장 좋았던 값(에폭)기다림할 일
11.001.00 (1)0처음 값을 기억하고 가중치를 저장
20.800.80 (2)0새 최고. 저장
30.700.70 (3)0새 최고. 저장
40.720.70 (3)1나아지지 않음. p = 1 이었다면 여기서 멈춘다
50.660.66 (5)0새 최고. 저장하고 기다림을 0 으로
60.670.66 (5)1나아지지 않음
70.690.66 (5)2나아지지 않음
80.680.66 (5)3직전(0.69)보다는 낮지만 0.66 보다 높다. 기다림 3 = p, 멈춘다

멈춘 뒤 에폭 5 의 가중치(0.66)로 되돌립니다. 에폭 9 는 돌리지 않습니다. 에폭 8 이 보여 주듯, 비교하는 대상은 직전 값이 아니라 가장 좋았던 값입니다. p = 1 이었다면 에폭 4 에서 멈추고 에폭 3(0.70)을 썼을 것입니다.

5. 꼭 알아야 할 성질

성질쉬운 말실험에서
학습 손실은 믿을 수 없는 성적표모델이 본 자료라 거의 늘 내려간다. 처음 보는 자료의 성적은 검증 손실이 말한다「벌어짐」의 초록 선은 끝까지 내려간다
참을성은 잡음과 시간의 맞바꿈작으면 일찍 멈춰 시간을 아끼지만 잡음에 속는다. 크면 잡음에 강하지만 오래 돈다「검증이 흔들림」에서 1, 5, 10 을 비교하기
되돌리기를 켜면 참을성이 커도 손해가 없다가장 좋았던 가중치를 쓰니, 오래 참아 생긴 손해는 시간뿐이다「벌어짐」에서 참을성 5 와 20 이 같은 에폭 24 를 고른다
되돌리지 않으면 p 에폭 지난 모델을 쓴다멈춘 때의 가중치는 가장 좋았던 때보다 적어도 p 에폭 뒤의 것이다3절의 ③: 0.83 대신 0.76
검증 점수가 조금 좋게 나온다멈출 때를 검증 자료로 골랐으니, 그 자료의 점수는 고른 만큼 부풀어 있다. 마지막 성적은 따로 떼어 둔 시험 자료로 잰다(자료 나누기)

6. 체크포인트: 가중치를 파일로 남기기

체크포인트는 학습 도중의 상태를 파일로 저장한 것입니다. 쓰임은 둘입니다.

# PyTorch: 직접 쓰는 조기 종료와 체크포인트
best, wait = float("inf"), 0
for epoch in range(100):
    train_one_epoch(model)
    val = evaluate(model)                              # 검증 손실
    if val < best:
        best, wait = val, 0
        torch.save(model.state_dict(), "best.pt")      # 새 최고: 체크포인트
    else:
        wait += 1
        if wait >= patience:
            break                                      # p 번 참았다
model.load_state_dict(torch.load("best.pt", weights_only=True))   # 가장 좋았던 가중치로 되돌리기
# Keras: restore_best_weights 의 기본값은 False 다. 켜지 않으면 멈춘 때의 가중치가 남는다
early = keras.callbacks.EarlyStopping(monitor="val_loss", patience=5, restore_best_weights=True)
model.fit(x, y, validation_data=(x_val, y_val), epochs=100, callbacks=[early])

Keras 의 patience 기본값은 0 이고, min_delta 로 「이만큼은 낮아져야 나아진 것으로 본다」는 최소 폭을 줄 수 있습니다(출처). 이 쪽의 실험은 조금이라도 낮아지면 나아진 것으로 봅니다(min_delta = 0).

어디에 쓰나

자주 묻는 것

검증 손실과 정확도 가운데 무엇을 보고 멈추나요?

보통 검증 손실을 봅니다. Keras 의 EarlyStopping 도 기본값이 검증 손실(val_loss)입니다. 실제로 신경 쓰는 점수가 따로 있으면 그것을 봐도 됩니다. 정확도처럼 높을수록 좋은 값을 볼 때는 「나아짐」의 방향을 반대로 둡니다.

참을성은 얼마로 두나요?

정해진 값은 없습니다. 검증 손실이 많이 흔들릴수록 크게 둡니다. 이 쪽의 흔들리는 곡선에서 참을성 1 은 에폭 4 에서 멈췄고, 10 은 에폭 52 까지 가서 검증 손실 0.43 인 에폭 42 를 골랐습니다. 가장 좋았던 때로 되돌리면 참을성을 키워도 검증 손실은 나빠지지 않고, 시간을 더 쓸 뿐입니다.

조기 종료를 쓰면 드롭아웃이나 가중치 감쇠는 필요 없나요?

하는 일이 다릅니다. 조기 종료는 언제 멈출지만 정하고, 드롭아웃과 가중치 감쇠는 학습하는 동안 모델이 자료를 외우는 것을 줄입니다. 교과서 『Deep Learning』 은 조기 종료를 혼자 써도, 다른 정규화와 같이 써도 된다고 적습니다.

낱말

여기서 쓴 말책에서 부르는 말
학습 곡선학습 곡선(learning curve). 이 쪽은 에폭에 따른 손실. 책에 따라 자료 수에 따른 점수를 뜻하기도 한다
학습 손실, 검증 손실training loss, validation loss
학습 자료를 한 바퀴 돌기에폭(epoch)
떼어 둔 자료검증 자료(validation set), 시험 자료(test set)
멈출 때를 검증 손실로 정하기조기 종료(early stopping)
참는 횟수 p참을성, 인내(patience)
가장 좋았던 가중치로 되돌리기restore best weights
나아졌다고 볼 최소 폭min_delta
학습 도중 상태를 저장한 파일체크포인트(checkpoint)
덜 배움, 외움과소적합(underfitting), 과적합(overfitting)
외우는 것을 줄이는 방법들정규화(regularization)

출처

← 가중치 감쇠와 L1·L2 규제그로킹: 외운 뒤에 뒤늦게 깨우치기 →