조기 종료와 학습 곡선 읽기
학습을 몇 에폭 돌려야 할지 미리 알 수 없습니다. 너무 적으면 덜 배우고, 너무 많으면 학습 자료를 외워 처음 보는 자료에서 틀립니다. 학습 손실과 검증 손실을 같이 그려 보면 지금 어느 쪽인지 보이고, 언제 멈출지도 정할 수 있습니다.
한 줄 답. 학습 곡선은 에폭마다 학습 손실과 검증 손실을 같이 찍은 그래프입니다. 두 선의 높이와 간격을 보면 덜 배웠는지, 외우기 시작했는지, 학습이 흔들리는지 알 수 있습니다. 조기 종료는 검증 손실이 가장 좋았던 값보다 p 번 연속으로 나아지지 않으면 학습을 멈추고, 가장 좋았던 에폭의 가중치로 되돌리는 규칙입니다. p 를 참을성(patience)이라고 부릅니다.
위 단추로 곡선 모양을 고르고, 막대나 숫자 칸으로 참을성을 1 ~ 20 사이에서 바꿔 보세요. 곡선은 지어낸 것입니다. 매끈한 곡선에 고정 시드(seed)의 잡음을 얹어 쪽을 열 때마다 같습니다. 진짜 모델을 학습한 것이 아닌 작게 줄인 본보기입니다. 진짜 학습에서는 앞으로의 곡선을 알 수 없어서, 멈춘 뒤의 옅은 부분과 「가장 낮은 곳」 동그라미는 보이지 않습니다.
해 볼 것. ① 처음(벌어짐, 참을성 5)은 에폭 29 에서 멈추고 에폭 24(검증 손실 0.76)의 가중치로 되돌립니다. 끝까지 돌렸을 때 가장 낮은 곳도 에폭 24 이고, 31 에폭을 돌리지 않았습니다. ② 참을성을 1 로 두면 에폭 14 에서 멈추고 에폭 13(0.93)으로, 3 으로 두면 에폭 22 에서 멈추고 에폭 19(0.79)로 되돌립니다. 둘 다 바닥보다 일찍 멈췄습니다. 20 으로 두면 에폭 44 까지 가지만 되돌릴 곳은 똑같이 에폭 24 입니다. ③ 「검증이 흔들림」에서 참을성 1 은 에폭 4 에서 멈춥니다(1.6). 5 면 에폭 29 에서 멈추고 에폭 24(0.56), 10 이면 에폭 52 에서 멈추고 에폭 42(0.43)를 고릅니다. ④ 「둘 다 높음」은 참을성 8 부터 멈추지 않고 끝까지 돌아도 검증 손실이 0.97 입니다. ⑤ 「검증이 더 낮음」은 60 에폭 내내 파란 선이 초록 선 아래에 있습니다.
1. 학습 곡선과 조기 종료란
손실은 모델이 틀린 정도를 숫자 하나로 낸 것입니다. 낮을수록 좋습니다. 에폭은 학습 자료를 처음부터 끝까지 한 바퀴 도는 것입니다. 에폭이 끝날 때마다 손실을 두 가지로 잽니다.
- 학습 손실: 학습에 쓰는 자료로 잰 손실. 모델은 이 자료를 보고 가중치를 고치니, 거의 늘 내려갑니다.
- 검증 손실: 학습에 쓰지 않고 떼어 둔 자료(검증 자료)로 잰 손실. 처음 보는 자료에서 얼마나 잘하는지를 말해 줍니다. 자료를 나누는 법은 자료 나누기 쪽에 있습니다.
두 손실을 에폭마다 찍어 이은 그래프가 학습 곡선입니다. 학습 손실만 보면 늘 잘 되는 것처럼 보입니다. 검증 손실을 같이 봐야 모델이 배우는지, 외우는지(과적합) 구별됩니다.
조기 종료는 검증 손실을 보며 학습을 멈출 때를 정하는 규칙입니다. 에폭 수를 미리 정하지 않고, 검증 손실이 더 나아지지 않으면 멈춥니다. 그리고 마지막 가중치가 아니라 검증 손실이 가장 좋았던 에폭의 가중치를 씁니다.
2. 곡선 모양 읽기: 언제 무엇을 하나
위 실험의 단추 넷이 자주 보는 모양입니다. 모양마다 뜻과 할 일이 다릅니다. 조기 종료가 답인 것은 그중 하나뿐입니다.
| 곡선 모양 | 무슨 뜻 | 할 일 | 조심할 것 |
|---|---|---|---|
| 둘 다 높고 붙어 있다 | 과소적합(underfitting). 모델이 약하거나 학습이 덜 됐다 | 모델을 키운다. 학습률을 맞춘다(학습률 스케줄). 드롭아웃이나 벌점이 세면 줄인다 | 조기 종료는 도움이 안 된다. 더 기다려도 조금밖에 내려가지 않는다 |
| 둘 다 아직 내려가는 중 | 덜 돌렸다 | 에폭을 늘린다 | 조기 종료가 멈추지 않는 것이 정상이다 |
| 학습은 내려가고 검증은 다시 올라 벌어진다 | 과적합. 학습 자료를 외우기 시작했다 | 조기 종료와 되돌리기. 드롭아웃, 가중치 감쇠, 데이터 증강(data augmentation)을 같이 본다 | 바닥에서 멈춰도 벌어짐 자체는 남는다. 벌어짐을 줄이는 것은 다른 방법들의 일이다 |
| 검증이 크게 흔들린다 | 학습률이 크거나, 배치(batch)가 작거나, 검증 자료가 적다 | 학습률을 줄이거나 스케줄로 낮춘다. 배치나 검증 자료를 키운다. 참을성을 키운다 | 참을성이 작으면 잡음 한 번에 속아 일찍 멈춘다 |
| 검증이 학습보다 낮다 | 드롭아웃과 가중치 벌점은 학습할 때만 켜진다. 학습 손실은 한 에폭 동안의 평균이라 나아지기 전의 값이 섞인다 | 대개 그대로 둔다 | 차이가 크면 검증 자료가 더 쉽거나 학습 자료와 겹치지 않았는지 나누기를 확인한다(자료 나누기) |
「검증이 학습보다 낮다」의 두 까닭은 Keras 문서의 자주 묻는 것에 그대로 적혀 있습니다(출처). 검증 손실은 에폭이 끝난 뒤의 모델로 재고, 학습 손실은 에폭 안의 배치마다 잰 값의 평균이라 앞쪽 배치의 높은 값이 섞입니다.
3. 규칙이 만들어지는 과정
「검증 손실이 나아지지 않으면 멈춘다」는 말은 쉽지만, 그대로 하면 잡음에 속습니다. 위 실험의 「벌어짐」 곡선으로 규칙을 한 단계씩 고쳐 갑니다. 식에서 val[t] 는 에폭 t 의 검증 손실, t* 는 지금까지 검증 손실이 가장 낮았던 에폭, w[t*] 는 그때 저장해 둔 가중치입니다.
- 처음 오르면 멈추기:
val[t] > val[t−1] → stop. 가장 단순한 규칙입니다. 에폭 14 의 검증 손실이 1 로, 직전의 0.93 보다 올라 여기서 멈춥니다. 그런데 바닥은 에폭 24(0.76)입니다. 까닭: 검증 손실에는 잡음이 있어서, 내려가는 중에도 한 번씩 오릅니다. 한 번 오른 것은 「바닥을 지났다」는 증거가 못 됩니다. - p 번 참기:
t − t* ≥ p → stop. 직전 값이 아니라 지금까지 가장 좋았던 값과 비교하고, 그보다 나아지지 않은 에폭이 p 번 이어지면 멈춥니다. 새 최고가 나오면 셈을 0 으로 돌립니다. p = 5 이면 에폭 24 가 가장 좋았고, 25 ~ 29 의 다섯 번이 모두 0.76 보다 높아 에폭 29 에서 멈춥니다. 까닭: 잡음으로 한두 번 오른 것은 곧 새 최고에 덮이고, 진짜로 바닥을 지났을 때만 셈이 p 까지 쌓입니다. - 가장 좋았던 때로 되돌리기:
w ← w[t*]. 에폭 29 의 가중치는 바닥에서 5 에폭 지나 검증 손실이 0.83 입니다. 그래서 에폭 24 에 저장해 둔 가중치(0.76)로 되돌립니다. 까닭: 참는 동안 모델은 이미 외우기 시작했습니다. 멈춘 때의 가중치를 그대로 쓰면 참은 만큼 나빠진 모델을 씁니다.
완성된 규칙은 교과서 『Deep Learning』 7.8 절의 알고리즘 7.1 과 같습니다(출처). 그 책은 p 를 「검증 오차가 나빠지는 것을 몇 번 보고 포기할지」로 적고, 검증 오차가 나아질 때마다 파라미터를 복사해 두었다가 끝나면 그것을 돌려줍니다.
해 볼 것. 「다음」을 누를 때마다 식에 조각이 붙고(주황 바탕), 그림의 멈춤 자리가 바뀝니다. ① 단계는 에폭 14 에서 멈추고 빈 동그라미(에폭 24)가 한참 뒤에 있습니다. ② 단계에서 멈춤이 에폭 29 로 가고, 주황 띠에 「참은 5번」이 나옵니다. ③ 단계에서 보라 화살표가 에폭 29 에서 에폭 24 로 돌아갑니다.
4. 손으로 따라가 보기
검증 손실이 에폭 1 부터 1.00, 0.80, 0.70, 0.72, 0.66, 0.67, 0.69, 0.68, 0.70 으로 나왔다고 합시다. 참을성 p = 3 입니다.
| 에폭 | 검증 손실 | 가장 좋았던 값(에폭) | 기다림 | 할 일 |
|---|---|---|---|---|
| 1 | 1.00 | 1.00 (1) | 0 | 처음 값을 기억하고 가중치를 저장 |
| 2 | 0.80 | 0.80 (2) | 0 | 새 최고. 저장 |
| 3 | 0.70 | 0.70 (3) | 0 | 새 최고. 저장 |
| 4 | 0.72 | 0.70 (3) | 1 | 나아지지 않음. p = 1 이었다면 여기서 멈춘다 |
| 5 | 0.66 | 0.66 (5) | 0 | 새 최고. 저장하고 기다림을 0 으로 |
| 6 | 0.67 | 0.66 (5) | 1 | 나아지지 않음 |
| 7 | 0.69 | 0.66 (5) | 2 | 나아지지 않음 |
| 8 | 0.68 | 0.66 (5) | 3 | 직전(0.69)보다는 낮지만 0.66 보다 높다. 기다림 3 = p, 멈춘다 |
멈춘 뒤 에폭 5 의 가중치(0.66)로 되돌립니다. 에폭 9 는 돌리지 않습니다. 에폭 8 이 보여 주듯, 비교하는 대상은 직전 값이 아니라 가장 좋았던 값입니다. p = 1 이었다면 에폭 4 에서 멈추고 에폭 3(0.70)을 썼을 것입니다.
5. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 학습 손실은 믿을 수 없는 성적표 | 모델이 본 자료라 거의 늘 내려간다. 처음 보는 자료의 성적은 검증 손실이 말한다 | 「벌어짐」의 초록 선은 끝까지 내려간다 |
| 참을성은 잡음과 시간의 맞바꿈 | 작으면 일찍 멈춰 시간을 아끼지만 잡음에 속는다. 크면 잡음에 강하지만 오래 돈다 | 「검증이 흔들림」에서 1, 5, 10 을 비교하기 |
| 되돌리기를 켜면 참을성이 커도 손해가 없다 | 가장 좋았던 가중치를 쓰니, 오래 참아 생긴 손해는 시간뿐이다 | 「벌어짐」에서 참을성 5 와 20 이 같은 에폭 24 를 고른다 |
| 되돌리지 않으면 p 에폭 지난 모델을 쓴다 | 멈춘 때의 가중치는 가장 좋았던 때보다 적어도 p 에폭 뒤의 것이다 | 3절의 ③: 0.83 대신 0.76 |
| 검증 점수가 조금 좋게 나온다 | 멈출 때를 검증 자료로 골랐으니, 그 자료의 점수는 고른 만큼 부풀어 있다. 마지막 성적은 따로 떼어 둔 시험 자료로 잰다 | (자료 나누기) |
6. 체크포인트: 가중치를 파일로 남기기
체크포인트는 학습 도중의 상태를 파일로 저장한 것입니다. 쓰임은 둘입니다.
- 가장 좋았던 모델 남기기. 검증 손실이 새 최고일 때마다 가중치를 저장하면, 멈춘 뒤 그 파일을 읽어 되돌립니다. 3절의
w[t*]가 이 파일입니다. 모델이 크면 메모리 대신 디스크에 두어도 됩니다. 저장은 새 최고일 때만 하고 학습 중에는 읽지 않아서 느린 곳에 둬도 학습이 거의 느려지지 않습니다(『Deep Learning』 7.8 절). - 꺼져도 이어 가기. 학습이 중간에 끊겨도 마지막 체크포인트에서 다시 시작합니다. 이때는 가중치만이 아니라 옵티마이저의 상태(예: Adam 이 쌓아 둔 평균)와 에폭 번호도 같이 저장해야 같은 자리에서 이어집니다.
# PyTorch: 직접 쓰는 조기 종료와 체크포인트
best, wait = float("inf"), 0
for epoch in range(100):
train_one_epoch(model)
val = evaluate(model) # 검증 손실
if val < best:
best, wait = val, 0
torch.save(model.state_dict(), "best.pt") # 새 최고: 체크포인트
else:
wait += 1
if wait >= patience:
break # p 번 참았다
model.load_state_dict(torch.load("best.pt", weights_only=True)) # 가장 좋았던 가중치로 되돌리기
# Keras: restore_best_weights 의 기본값은 False 다. 켜지 않으면 멈춘 때의 가중치가 남는다
early = keras.callbacks.EarlyStopping(monitor="val_loss", patience=5, restore_best_weights=True)
model.fit(x, y, validation_data=(x_val, y_val), epochs=100, callbacks=[early])
Keras 의 patience 기본값은 0 이고, min_delta 로 「이만큼은 낮아져야 나아진 것으로 본다」는 최소 폭을 줄 수 있습니다(출처). 이 쪽의 실험은 조금이라도 낮아지면 나아진 것으로 봅니다(min_delta = 0).
어디에 쓰나
- 신경망 학습의 에폭 수 정하기. 몇 에폭 돌릴지를 미리 맞히지 않고 검증 손실로 정합니다. 『Deep Learning』 은 조기 종료를 딥러닝에서 아마 가장 흔히 쓰는 정규화라고 적습니다.
- 학습 시간 아끼기. 나아지지 않는 에폭을 더 돌리지 않습니다. 실험 ① 의 처음 설정은 60 에폭 가운데 31 에폭을 돌리지 않았습니다.
- 학습이 잘 되는지 진단하기. 조기 종료를 쓰지 않더라도, 학습 곡선을 그려 2절의 표로 모양을 읽으면 다음에 무엇을 바꿀지 정할 수 있습니다.
자주 묻는 것
검증 손실과 정확도 가운데 무엇을 보고 멈추나요?
보통 검증 손실을 봅니다. Keras 의 EarlyStopping 도 기본값이 검증 손실(val_loss)입니다. 실제로 신경 쓰는 점수가 따로 있으면 그것을 봐도 됩니다. 정확도처럼 높을수록 좋은 값을 볼 때는 「나아짐」의 방향을 반대로 둡니다.
참을성은 얼마로 두나요?
정해진 값은 없습니다. 검증 손실이 많이 흔들릴수록 크게 둡니다. 이 쪽의 흔들리는 곡선에서 참을성 1 은 에폭 4 에서 멈췄고, 10 은 에폭 52 까지 가서 검증 손실 0.43 인 에폭 42 를 골랐습니다. 가장 좋았던 때로 되돌리면 참을성을 키워도 검증 손실은 나빠지지 않고, 시간을 더 쓸 뿐입니다.
조기 종료를 쓰면 드롭아웃이나 가중치 감쇠는 필요 없나요?
하는 일이 다릅니다. 조기 종료는 언제 멈출지만 정하고, 드롭아웃과 가중치 감쇠는 학습하는 동안 모델이 자료를 외우는 것을 줄입니다. 교과서 『Deep Learning』 은 조기 종료를 혼자 써도, 다른 정규화와 같이 써도 된다고 적습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 학습 곡선 | 학습 곡선(learning curve). 이 쪽은 에폭에 따른 손실. 책에 따라 자료 수에 따른 점수를 뜻하기도 한다 |
| 학습 손실, 검증 손실 | training loss, validation loss |
| 학습 자료를 한 바퀴 돌기 | 에폭(epoch) |
| 떼어 둔 자료 | 검증 자료(validation set), 시험 자료(test set) |
| 멈출 때를 검증 손실로 정하기 | 조기 종료(early stopping) |
| 참는 횟수 p | 참을성, 인내(patience) |
| 가장 좋았던 가중치로 되돌리기 | restore best weights |
| 나아졌다고 볼 최소 폭 | min_delta |
| 학습 도중 상태를 저장한 파일 | 체크포인트(checkpoint) |
| 덜 배움, 외움 | 과소적합(underfitting), 과적합(overfitting) |
| 외우는 것을 줄이는 방법들 | 정규화(regularization) |
출처
- Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, 7장(정규화), 7.8 절 Early Stopping. U 자 모양의 검증 곡선, 알고리즘 7.1(참을성 p, 가장 좋았던 파라미터 저장), 가장 흔히 쓰는 정규화라는 말, 다른 정규화와 같이 쓰기, 저장 비용.
- Keras 문서: EarlyStopping(monitor, patience, min_delta, restore_best_weights 와 기본값).
- Keras 문서: FAQ, 「Why is my training loss much higher than my testing loss?」(드롭아웃·벌점은 학습 때만, 학습 손실은 에폭 평균).
- PyTorch 문서: Saving and Loading Models(state_dict 저장과 불러오기, 이어 가기용 체크포인트).