보정: 모델의 신뢰도를 믿어도 되나
분류 모델은 답과 함께 확률을 냅니다. 「고양이, 90%」. 그런데 모델이 90% 라고 한 예측만 모아 보면 정말 열에 아홉이 맞을까요? 지어낸 예측 200개로 그림을 그려 보고, 숫자 하나(온도)로 고쳐 보세요.
한 줄 답. 보정은 모델이 말하는 신뢰도(confidence)와 실제로 맞는 비율이 같은지를 봅니다. 90% 라고 한 예측 가운데 90% 가 맞으면 잘 보정된 것입니다. 요즘의 깊은 신경망은 흔히 실제보다 더 확신합니다. 로짓을 숫자 하나 T 로 나누는 온도 조절로 많이 고칠 수 있고, 이때 정확도는 바뀌지 않습니다. 정확도와 보정은 다른 것입니다.
작게 줄인 본보기입니다. 진짜 모델 대신, 고정 시드(seed) 난수기로 지어낸 예측 200개(답은 둘 가운데 하나)를 씁니다. 「진짜」 확률을 정한 뒤 모델의 로짓만 2.5 배로 부풀려 일부러 과신하게 만들었습니다. 진짜로는 T 를 검증 세트(validation set)로 정하고 ECE 는 따로 떼어 둔 테스트 세트(test set)로 재지만, 여기서는 같은 200개로 둘 다 봅니다. 파란 막대가 정확도, 초록 선이 평균 신뢰도, 주황 칸이 둘의 차이입니다.
해 볼 것. ① 처음(T = 1)은 정확도 0.745, 평균 신뢰도 0.862, ECE 0.135 입니다. 신뢰도가 0.9 를 넘는 마지막 칸에 106개가 몰렸고, 평균 신뢰도는 0.972 인데 정확도는 0.858 입니다. ② T 를 0.5 로 내리면 평균 신뢰도가 0.928 로 더 커지고 ECE 는 0.205 로 나빠집니다. ③ T 를 올리면 막대가 대각선에 붙습니다. T = 1.5 에서 ECE 0.072, 2 에서 0.02, 2.4 에서 0.015 로, 막대 눈금(0.1)에서는 2.4 가 가장 작습니다. NLL 도 2.4 근처에서 가장 작습니다(0.523). 자료를 만들 때 로짓을 2.5 배 했지만 200개뿐이라 우연이 섞여 2.4 가 나왔습니다. ④ T 를 5 로 올리면 평균 신뢰도 0.636 이 정확도 0.745 보다 낮아져 막대가 대각선 위로 올라갑니다(과소 확신, ECE 0.109). ⑤ 그동안 정확도는 내내 0.745 입니다.
1. 보정이란: 「90% 라고 한 것 가운데 90% 가 맞는가」
분류 모델은 답마다 점수(로짓)를 내고, 이것을 확률로 바꿔 가장 큰 것을 답으로 고릅니다. 고른 답의 확률을 신뢰도라고 부릅니다. 모델이 잘 보정되어 있다는 것은 이 신뢰도를 글자 그대로 믿어도 된다는 뜻입니다. 신뢰도가 0.8 인 예측을 모두 모으면 그 가운데 80% 가 맞아야 합니다. 식으로 적으면 P(맞음 | 신뢰도 = p) = p 입니다.
이것을 그림으로 보는 것이 신뢰도 그림입니다. 예측을 신뢰도에 따라 칸으로 나누고, 칸마다 맞은 비율을 막대로 세웁니다. 잘 보정된 모델이면 막대 위끝이 대각선(신뢰도 = 정확도)에 놓입니다. 막대가 대각선 아래면 말한 것보다 덜 맞는 것(과신, overconfidence), 위면 말한 것보다 더 맞는 것(과소 확신, underconfidence)입니다.
실험은 답이 둘인 문제라 고른 답의 확률이 늘 0.5 이상입니다. 그래서 0 ~ 1 을 0.1 씩 열 칸으로 나누면 아래 다섯 칸은 늘 비고, 0.5 ~ 1 의 다섯 칸만 남습니다. 답이 K 개면 신뢰도는 1/K 부터입니다.
정확도와 보정은 다른 것입니다. 정확도는 고른 답이 맞았는지만 셉니다. 보정은 그 답에 붙인 숫자가 맞았는지를 봅니다. 공정한 동전에 늘 「앞, 50%」라고 하는 모델은 정확도가 50% 뿐이지만 보정은 완벽합니다. 실험에서 T 를 바꾸면 ECE 는 0.205 에서 0.015 까지 움직이는데 정확도는 0.745 그대로입니다.
2. 식이 만들어지는 과정: 기대 보정 오차(ECE)
신뢰도 그림을 숫자 하나로 줄인 것이 기대 보정 오차(expected calibration error, ECE)입니다. 위 실험과 같은 200개를 T = 1(손대지 않은 모델) 그대로 씁니다. 「다음」을 누르면 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림과 표가 그만큼 채워집니다.
| 칸(신뢰도) | 수 |Bₘ| | 정확도 acc | 평균 신뢰도 conf | 차이 | 비중 |Bₘ| ÷ n | 비중 × 차이 |
|---|
- 신뢰도로 칸 나누기:
B₁, …, B₅. 예측 n = 200 개를 신뢰도에 따라 다섯 칸에 넣습니다. 칸 Bₘ 은 신뢰도가 (0.5, 0.6], (0.6, 0.7], … 에 드는 예측들입니다. 든 수는 17, 16, 25, 36, 106 개입니다. 까닭: 신뢰도가 정확히 0.8 인 예측은 거의 없어서, 비슷한 신뢰도끼리 묶어야 「그중 몇 %가 맞았나」를 셀 수 있습니다. - 칸마다 정확도와 평균 신뢰도:
acc(Bₘ),conf(Bₘ). acc 는 칸 안에서 맞은 비율, conf 는 칸 안 신뢰도의 평균입니다. 마지막 칸은 conf 0.972, acc 0.858 입니다. 까닭: 같은 칸 안에서 「말한 것」과 「실제」를 같은 단위(비율)로 놓아야 비교할 수 있습니다. - 차이:
|acc(Bₘ) − conf(Bₘ)|. 다섯 칸의 차이는 0.107, 0.283, 0.109, 0.166, 0.114 입니다. 까닭: 부호를 떼야 너무 확신하는 칸과 덜 확신하는 칸이 서로 지워지지 않습니다. 첫 칸은 정확도(0.647)가 신뢰도(0.54)보다 높은데, 부호를 남기면 다른 칸의 어긋남을 깎아 먹습니다. - 비중을 곱해 더하기:
ECE = Σₘ (|Bₘ| ÷ n) × |acc(Bₘ) − conf(Bₘ)|. |Bₘ| 는 칸에 든 수입니다. 비중은 0.085, 0.08, 0.125, 0.18, 0.53 이고, 곱하면 0.009, 0.023, 0.014, 0.03, 0.06 입니다. 더하면 ECE = 0.135 입니다(표의 숫자는 반올림한 것이라 그대로 더하면 0.136). 까닭: 예측이 106개 든 칸의 어긋남은 16개 든 칸의 어긋남보다 많은 예측에 일어납니다. 비중을 곱하면 ECE 는 「예측 하나를 아무거나 골랐을 때 그 칸의 신뢰도와 정확도가 평균 얼마나 어긋나나」가 됩니다.
이 식은 Guo 등의 논문(출처)에 나오는 모양 그대로입니다. 칸의 수를 바꾸면 ECE 도 바뀌므로, ECE 를 비교할 때는 칸을 같게 나눴는지 봅니다.
3. 손으로 풀어 보기: 온도로 신뢰도 낮추기
답이 둘일 때 확률은 p = 1 ÷ (1 + e^(−z ÷ T)) 입니다(로지스틱 회귀의 시그모이드). z 는 로짓, T 는 온도입니다. 로짓 z = 3 인 예측 하나로 해 봅니다.
- T = 1(그대로).
e^(−3) ≈ 0.0498,1 ÷ 1.0498 ≈ 0.953. 신뢰도 0.953. - T = 2. 먼저 나눕니다:
3 ÷ 2 = 1.5.e^(−1.5) ≈ 0.223,1 ÷ 1.223 ≈ 0.818. 신뢰도가 0.818 로 내려갔습니다. - 답은 그대로. z 가 양수이면 T 가 어떤 양수여도
z ÷ T는 양수라 확률이 0.5 를 넘습니다. 고른 답은 여전히 같습니다.
T 가 1 보다 크면 확률이 0.5 쪽으로 납작해지고, 1 보다 작으면 0 이나 1 쪽으로 뾰족해집니다. 답이 여럿일 때도 소프트맥스 앞에서 로짓을 모두 T 로 나누면 되고, 가장 큰 로짓은 그대로 가장 큽니다. 언어 모델이 다음 낱말을 뽑을 때 쓰는 온도와 같은 계산입니다. 다만 거기서는 뽑는 다양성을 정하려고 쓰고, 여기서는 신뢰도를 실제에 맞추려고 씁니다.
4. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 정확도와 보정은 다르다 | 답이 맞는 것과, 붙인 확률이 맞는 것은 따로 잰다 | T 를 바꿔도 정확도 0.745, ECE 는 0.015 ~ 0.205 |
| 온도 조절은 답과 순서를 바꾸지 않는다 | 모든 로짓을 같은 양수로 나누므로 큰 것은 큰 채로 남는다. 그래서 ROC 곡선과 AUC, 정밀도-재현율 곡선도 그대로다. 다만 「확률 0.8 이상만 통과」 같은 임계값은 다시 정해야 한다 | 해 볼 것 ⑤ |
| 깊은 신경망은 흔히 과신한다 | 막대가 대각선 아래로 처진다 | 처음(T = 1)의 그림 |
| ECE 는 칸 나누는 법에 기댄다 | 칸 수를 바꾸면 값이 바뀐다. 예측이 적게 든 칸은 우연에 흔들린다 | 둘째 칸은 16개뿐이라 정확도 0.375 가 크게 튄다 |
| ECE 0 이 끝이 아니다 | 칸 안에서는 평균만 본다. 칸 안의 예측 하나하나가 맞는 확률인지는 모른다 | 2절의 ② 단계 |
5. 왜 깊은 신경망은 과신하나
신경망은 흔히 교차 엔트로피(NLL)를 줄이도록 학습합니다. 이 손실은 맞힌 예측의 신뢰도를 1 쪽으로 더 밀수록 계속 작아집니다. 그래서 훈련 세트를 거의 다 맞힌 뒤에도 로짓을 더 키워 신뢰도를 올리고, 그 신뢰도는 처음 보는 자료에서 맞지 않습니다. Guo 등은 테스트 세트에서 오류율은 계속 내려가는데 NLL 은 다시 올라가는 모습을 보이며 이것을 「NLL 에 과적합한다」고 설명했습니다(과적합). 같은 논문은 신경망을 깊고 넓게 할수록, 배치 정규화를 쓸 때, 가중치 감쇠를 줄일 때 보정이 나빠지는 경향을 실험으로 보였습니다. 정확도를 올리는 이런 선택들이 보정에는 거꾸로 작용할 수 있다는 뜻입니다.
6. 고치는 법
- 온도 조절(temperature scaling). 다 학습한 모델의 로짓을 숫자 하나 T 로 나눕니다. T 는 검증 세트에서 NLL 이 가장 작아지게 고릅니다(실험에서 2.4 근처). 답과 순서는 그대로입니다.
- Platt 스케일링. 모델의 점수 s 위에
p = 1 ÷ (1 + e^(−(a·s + b)))를 맞춥니다. 숫자 둘(a, b)짜리 로지스틱 회귀입니다. a = 1/T, b = 0 으로 두면 온도 조절과 같으니, 온도 조절은 편향 b 를 뺀 Platt 입니다. - isotonic 회귀. 「점수가 커지면 확률이 줄지 않는다」만 지키는 계단 모양의 함수를 검증 세트에 맞춥니다. 모양을 가정하지 않는 대신 자료가 많이 필요합니다.
- 레이블 스무딩. 학습할 때 정답을 1 과 0 대신 「정답 1 − ε, 나머지가 ε 를 나눠 가짐」으로 줍니다(레이블의 모양). 신뢰도를 끝까지 밀지 않게 해서 학습 단계에서 과신을 줄입니다.
7. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 그대로 두기 | 할 일이 없다 | 신뢰도 숫자를 믿을 수 없다 | 가장 높은 답만 고르거나 순서만 쓸 때(순위, AUC) |
| 온도 조절 | 숫자 하나라 검증 세트가 적어도 된다. 답과 순서가 그대로다. 다시 학습하지 않는다 | 모든 신뢰도를 한 비율로만 늘이고 줄인다. 칸마다 다른 쪽으로 어긋난 것은 못 고친다 | 신경망 분류기에서 먼저 해 볼 것 |
| Platt 스케일링 | 숫자 둘이라 편향까지 고친다. 점수만 내는 모델에도 쓴다 | 어긋남이 S 자 모양이라고 가정한다. b 때문에 0.5 임계값의 답이 바뀔 수 있다 | 답이 둘이고 점수가 확률이 아닌 모델(서포트 벡터 머신 등) |
| isotonic 회귀 | 모양을 가정하지 않아 어떤 어긋남이든 맞춘다 | 검증 세트가 적으면 과적합한다. 계단이라 여러 점수가 같은 확률로 묶여 순서가 일부 사라진다 | 검증 세트가 많을 때 |
| 레이블 스무딩 | 학습 중에 신뢰도가 덜 커진다. 따로 맞추는 단계가 없다 | 다시 학습해야 한다. ε 를 골라야 한다. 지식 증류의 선생 모델로 쓰면 나빠진다는 보고가 있다 | 새로 학습할 때. 그 뒤에 온도 조절을 더해도 된다 |
scikit-learn 의 CalibratedClassifierCV 는 Platt(method="sigmoid")과 isotonic(method="isotonic")을 고를 수 있고, 문서는 자료가 적을 때 isotonic 이 과적합하기 쉽다고 적습니다.
어디에 쓰나
- 사람에게 넘길지 정하기. 신뢰도가 낮은 예측만 사람이 다시 보게 할 때, 신뢰도 숫자가 맞아야 넘기는 양을 미리 셀 수 있습니다.
- 확률로 비용 계산하기. 「틀리면 얼마 손해」에 확률을 곱해 결정하는 일은 확률이 실제와 맞아야 뜻이 있습니다.
- 여러 모델의 확률 합치기. 한 모델만 과신하면 합친 결과가 그 모델에 끌려갑니다.
- 화면에 확률을 보여 줄 때. 쓰는 사람은 「90%」를 글자 그대로 읽습니다.
자주 묻는 것
정확도가 높으면 보정도 잘 된 것 아닌가요?
아닙니다. 정확도는 고른 답이 맞았는지만 세고, 보정은 그 답에 붙인 확률이 맞았는지를 봅니다. 늘 99% 라고 하면서 90% 맞히는 모델은 정확도가 높아도 보정이 나쁩니다. 공정한 동전에 늘 「앞, 50%」라고 하는 모델은 정확도가 50% 뿐이지만 보정은 완벽합니다.
온도 조절을 하면 정확도가 바뀌나요?
바뀌지 않습니다. 모든 로짓을 같은 양수 T 로 나누면 가장 큰 로짓은 그대로 가장 큽니다. 고른 답이 같으니 정확도도 같고, 바뀌는 것은 신뢰도의 크기와 NLL, ECE 뿐입니다. 실험에서 T 를 어디로 옮겨도 정확도는 0.745 입니다.
보정은 어떤 자료로 맞추나요?
학습에 쓰지 않은 검증 세트로 맞추고, 또 다른 테스트 세트로 ECE 를 잽니다. 훈련 세트에서는 모델이 거의 다 맞히므로 큰 신뢰도가 맞아 보여 고칠 것을 찾지 못합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 신뢰도가 실제와 맞는 정도 | 보정(calibration) |
| 고른 답의 확률 | 신뢰도(confidence) |
| 칸마다 정확도를 세운 그림 | 신뢰도 그림(reliability diagram) |
| 칸마다의 어긋남을 비중으로 더한 것 | 기대 보정 오차(expected calibration error, ECE) |
| 신뢰도로 나눈 칸 | 구간, 빈(bin) |
| 말한 것보다 덜 맞음 / 더 맞음 | 과신(overconfidence) / 과소 확신(underconfidence) |
| 확률로 바꾸기 전의 점수 | 로짓(logit) |
| 실제 답에 준 확률의 −log 평균 | 음의 로그 가능도(negative log-likelihood, NLL), 교차 엔트로피 |
| 로짓을 숫자 하나로 나누기 | 온도 조절, 온도 스케일링(temperature scaling) |
| 점수 위에 로지스틱 회귀 맞추기 | Platt 스케일링(Platt scaling) |
| 줄지 않는 계단 함수 맞추기 | 등위 회귀(isotonic regression) |
| 정답을 1 대신 1 − ε 로 주기 | 레이블 스무딩(label smoothing) |
| 학습에 쓰지 않고 맞추는 데 쓰는 자료 | 검증 세트(validation set) |
출처
- Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger, On Calibration of Modern Neural Networks, arXiv:1706.04599. 신뢰도 그림, ECE 식, 깊은 신경망의 과신과 그 요인, 온도 조절과 Platt·isotonic 의 비교.
- scikit-learn 문서: Probability calibration. 보정 곡선,
CalibratedClassifierCV의 sigmoid(Platt)와 isotonic, 자료가 적을 때 isotonic 의 과적합. - Rafael Müller, Simon Kornblith, Geoffrey Hinton, When Does Label Smoothing Help?, arXiv:1906.02629. 레이블 스무딩이 보정을 좋게 하는 것과 지식 증류에 해로운 것.