보정: 모델의 신뢰도를 믿어도 되나

분류 모델은 답과 함께 확률을 냅니다. 「고양이, 90%」. 그런데 모델이 90% 라고 한 예측만 모아 보면 정말 열에 아홉이 맞을까요? 지어낸 예측 200개로 그림을 그려 보고, 숫자 하나(온도)로 고쳐 보세요.

한 줄 답. 보정은 모델이 말하는 신뢰도(confidence)와 실제로 맞는 비율이 같은지를 봅니다. 90% 라고 한 예측 가운데 90% 가 맞으면 잘 보정된 것입니다. 요즘의 깊은 신경망은 흔히 실제보다 더 확신합니다. 로짓을 숫자 하나 T 로 나누는 온도 조절로 많이 고칠 수 있고, 이때 정확도는 바뀌지 않습니다. 정확도와 보정은 다른 것입니다.

작게 줄인 본보기입니다. 진짜 모델 대신, 고정 시드(seed) 난수기로 지어낸 예측 200개(답은 둘 가운데 하나)를 씁니다. 「진짜」 확률을 정한 뒤 모델의 로짓만 2.5 배로 부풀려 일부러 과신하게 만들었습니다. 진짜로는 T 를 검증 세트(validation set)로 정하고 ECE 는 따로 떼어 둔 테스트 세트(test set)로 재지만, 여기서는 같은 200개로 둘 다 봅니다. 파란 막대가 정확도, 초록 선이 평균 신뢰도, 주황 칸이 둘의 차이입니다.

해 볼 것. ① 처음(T = 1)은 정확도 0.745, 평균 신뢰도 0.862, ECE 0.135 입니다. 신뢰도가 0.9 를 넘는 마지막 칸에 106개가 몰렸고, 평균 신뢰도는 0.972 인데 정확도는 0.858 입니다. ② T 를 0.5 로 내리면 평균 신뢰도가 0.928 로 더 커지고 ECE 는 0.205 로 나빠집니다. ③ T 를 올리면 막대가 대각선에 붙습니다. T = 1.5 에서 ECE 0.072, 2 에서 0.02, 2.4 에서 0.015 로, 막대 눈금(0.1)에서는 2.4 가 가장 작습니다. NLL 도 2.4 근처에서 가장 작습니다(0.523). 자료를 만들 때 로짓을 2.5 배 했지만 200개뿐이라 우연이 섞여 2.4 가 나왔습니다. ④ T 를 5 로 올리면 평균 신뢰도 0.636 이 정확도 0.745 보다 낮아져 막대가 대각선 위로 올라갑니다(과소 확신, ECE 0.109). ⑤ 그동안 정확도는 내내 0.745 입니다.

1. 보정이란: 「90% 라고 한 것 가운데 90% 가 맞는가」

분류 모델은 답마다 점수(로짓)를 내고, 이것을 확률로 바꿔 가장 큰 것을 답으로 고릅니다. 고른 답의 확률을 신뢰도라고 부릅니다. 모델이 잘 보정되어 있다는 것은 이 신뢰도를 글자 그대로 믿어도 된다는 뜻입니다. 신뢰도가 0.8 인 예측을 모두 모으면 그 가운데 80% 가 맞아야 합니다. 식으로 적으면 P(맞음 | 신뢰도 = p) = p 입니다.

이것을 그림으로 보는 것이 신뢰도 그림입니다. 예측을 신뢰도에 따라 칸으로 나누고, 칸마다 맞은 비율을 막대로 세웁니다. 잘 보정된 모델이면 막대 위끝이 대각선(신뢰도 = 정확도)에 놓입니다. 막대가 대각선 아래면 말한 것보다 덜 맞는 것(과신, overconfidence), 위면 말한 것보다 더 맞는 것(과소 확신, underconfidence)입니다.

실험은 답이 둘인 문제라 고른 답의 확률이 늘 0.5 이상입니다. 그래서 0 ~ 1 을 0.1 씩 열 칸으로 나누면 아래 다섯 칸은 늘 비고, 0.5 ~ 1 의 다섯 칸만 남습니다. 답이 K 개면 신뢰도는 1/K 부터입니다.

정확도와 보정은 다른 것입니다. 정확도는 고른 답이 맞았는지만 셉니다. 보정은 그 답에 붙인 숫자가 맞았는지를 봅니다. 공정한 동전에 늘 「앞, 50%」라고 하는 모델은 정확도가 50% 뿐이지만 보정은 완벽합니다. 실험에서 T 를 바꾸면 ECE 는 0.205 에서 0.015 까지 움직이는데 정확도는 0.745 그대로입니다.

2. 식이 만들어지는 과정: 기대 보정 오차(ECE)

신뢰도 그림을 숫자 하나로 줄인 것이 기대 보정 오차(expected calibration error, ECE)입니다. 위 실험과 같은 200개를 T = 1(손대지 않은 모델) 그대로 씁니다. 「다음」을 누르면 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림과 표가 그만큼 채워집니다.

칸(신뢰도)수 |Bₘ|정확도 acc평균 신뢰도 conf차이비중 |Bₘ| ÷ n비중 × 차이

  1. 신뢰도로 칸 나누기: B₁, …, B₅. 예측 n = 200 개를 신뢰도에 따라 다섯 칸에 넣습니다. 칸 Bₘ 은 신뢰도가 (0.5, 0.6], (0.6, 0.7], … 에 드는 예측들입니다. 든 수는 17, 16, 25, 36, 106 개입니다. 까닭: 신뢰도가 정확히 0.8 인 예측은 거의 없어서, 비슷한 신뢰도끼리 묶어야 「그중 몇 %가 맞았나」를 셀 수 있습니다.
  2. 칸마다 정확도와 평균 신뢰도: acc(Bₘ), conf(Bₘ). acc 는 칸 안에서 맞은 비율, conf 는 칸 안 신뢰도의 평균입니다. 마지막 칸은 conf 0.972, acc 0.858 입니다. 까닭: 같은 칸 안에서 「말한 것」과 「실제」를 같은 단위(비율)로 놓아야 비교할 수 있습니다.
  3. 차이: |acc(Bₘ) − conf(Bₘ)|. 다섯 칸의 차이는 0.107, 0.283, 0.109, 0.166, 0.114 입니다. 까닭: 부호를 떼야 너무 확신하는 칸과 덜 확신하는 칸이 서로 지워지지 않습니다. 첫 칸은 정확도(0.647)가 신뢰도(0.54)보다 높은데, 부호를 남기면 다른 칸의 어긋남을 깎아 먹습니다.
  4. 비중을 곱해 더하기: ECE = Σₘ (|Bₘ| ÷ n) × |acc(Bₘ) − conf(Bₘ)|. |Bₘ| 는 칸에 든 수입니다. 비중은 0.085, 0.08, 0.125, 0.18, 0.53 이고, 곱하면 0.009, 0.023, 0.014, 0.03, 0.06 입니다. 더하면 ECE = 0.135 입니다(표의 숫자는 반올림한 것이라 그대로 더하면 0.136). 까닭: 예측이 106개 든 칸의 어긋남은 16개 든 칸의 어긋남보다 많은 예측에 일어납니다. 비중을 곱하면 ECE 는 「예측 하나를 아무거나 골랐을 때 그 칸의 신뢰도와 정확도가 평균 얼마나 어긋나나」가 됩니다.

이 식은 Guo 등의 논문(출처)에 나오는 모양 그대로입니다. 칸의 수를 바꾸면 ECE 도 바뀌므로, ECE 를 비교할 때는 칸을 같게 나눴는지 봅니다.

3. 손으로 풀어 보기: 온도로 신뢰도 낮추기

답이 둘일 때 확률은 p = 1 ÷ (1 + e^(−z ÷ T)) 입니다(로지스틱 회귀의 시그모이드). z 는 로짓, T 는 온도입니다. 로짓 z = 3 인 예측 하나로 해 봅니다.

  1. T = 1(그대로). e^(−3) ≈ 0.0498, 1 ÷ 1.0498 ≈ 0.953. 신뢰도 0.953.
  2. T = 2. 먼저 나눕니다: 3 ÷ 2 = 1.5. e^(−1.5) ≈ 0.223, 1 ÷ 1.223 ≈ 0.818. 신뢰도가 0.818 로 내려갔습니다.
  3. 답은 그대로. z 가 양수이면 T 가 어떤 양수여도 z ÷ T 는 양수라 확률이 0.5 를 넘습니다. 고른 답은 여전히 같습니다.

T 가 1 보다 크면 확률이 0.5 쪽으로 납작해지고, 1 보다 작으면 0 이나 1 쪽으로 뾰족해집니다. 답이 여럿일 때도 소프트맥스 앞에서 로짓을 모두 T 로 나누면 되고, 가장 큰 로짓은 그대로 가장 큽니다. 언어 모델이 다음 낱말을 뽑을 때 쓰는 온도와 같은 계산입니다. 다만 거기서는 뽑는 다양성을 정하려고 쓰고, 여기서는 신뢰도를 실제에 맞추려고 씁니다.

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
정확도와 보정은 다르다답이 맞는 것과, 붙인 확률이 맞는 것은 따로 잰다T 를 바꿔도 정확도 0.745, ECE 는 0.015 ~ 0.205
온도 조절은 답과 순서를 바꾸지 않는다모든 로짓을 같은 양수로 나누므로 큰 것은 큰 채로 남는다. 그래서 ROC 곡선과 AUC, 정밀도-재현율 곡선도 그대로다. 다만 「확률 0.8 이상만 통과」 같은 임계값은 다시 정해야 한다해 볼 것 ⑤
깊은 신경망은 흔히 과신한다막대가 대각선 아래로 처진다처음(T = 1)의 그림
ECE 는 칸 나누는 법에 기댄다칸 수를 바꾸면 값이 바뀐다. 예측이 적게 든 칸은 우연에 흔들린다둘째 칸은 16개뿐이라 정확도 0.375 가 크게 튄다
ECE 0 이 끝이 아니다칸 안에서는 평균만 본다. 칸 안의 예측 하나하나가 맞는 확률인지는 모른다2절의 ② 단계

5. 왜 깊은 신경망은 과신하나

신경망은 흔히 교차 엔트로피(NLL)를 줄이도록 학습합니다. 이 손실은 맞힌 예측의 신뢰도를 1 쪽으로 더 밀수록 계속 작아집니다. 그래서 훈련 세트를 거의 다 맞힌 뒤에도 로짓을 더 키워 신뢰도를 올리고, 그 신뢰도는 처음 보는 자료에서 맞지 않습니다. Guo 등은 테스트 세트에서 오류율은 계속 내려가는데 NLL 은 다시 올라가는 모습을 보이며 이것을 「NLL 에 과적합한다」고 설명했습니다(과적합). 같은 논문은 신경망을 깊고 넓게 할수록, 배치 정규화를 쓸 때, 가중치 감쇠를 줄일 때 보정이 나빠지는 경향을 실험으로 보였습니다. 정확도를 올리는 이런 선택들이 보정에는 거꾸로 작용할 수 있다는 뜻입니다.

6. 고치는 법

7. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
그대로 두기할 일이 없다신뢰도 숫자를 믿을 수 없다가장 높은 답만 고르거나 순서만 쓸 때(순위, AUC)
온도 조절숫자 하나라 검증 세트가 적어도 된다. 답과 순서가 그대로다. 다시 학습하지 않는다모든 신뢰도를 한 비율로만 늘이고 줄인다. 칸마다 다른 쪽으로 어긋난 것은 못 고친다신경망 분류기에서 먼저 해 볼 것
Platt 스케일링숫자 둘이라 편향까지 고친다. 점수만 내는 모델에도 쓴다어긋남이 S 자 모양이라고 가정한다. b 때문에 0.5 임계값의 답이 바뀔 수 있다답이 둘이고 점수가 확률이 아닌 모델(서포트 벡터 머신 등)
isotonic 회귀모양을 가정하지 않아 어떤 어긋남이든 맞춘다검증 세트가 적으면 과적합한다. 계단이라 여러 점수가 같은 확률로 묶여 순서가 일부 사라진다검증 세트가 많을 때
레이블 스무딩학습 중에 신뢰도가 덜 커진다. 따로 맞추는 단계가 없다다시 학습해야 한다. ε 를 골라야 한다. 지식 증류의 선생 모델로 쓰면 나빠진다는 보고가 있다새로 학습할 때. 그 뒤에 온도 조절을 더해도 된다

scikit-learn 의 CalibratedClassifierCV 는 Platt(method="sigmoid")과 isotonic(method="isotonic")을 고를 수 있고, 문서는 자료가 적을 때 isotonic 이 과적합하기 쉽다고 적습니다.

어디에 쓰나

자주 묻는 것

정확도가 높으면 보정도 잘 된 것 아닌가요?

아닙니다. 정확도는 고른 답이 맞았는지만 세고, 보정은 그 답에 붙인 확률이 맞았는지를 봅니다. 늘 99% 라고 하면서 90% 맞히는 모델은 정확도가 높아도 보정이 나쁩니다. 공정한 동전에 늘 「앞, 50%」라고 하는 모델은 정확도가 50% 뿐이지만 보정은 완벽합니다.

온도 조절을 하면 정확도가 바뀌나요?

바뀌지 않습니다. 모든 로짓을 같은 양수 T 로 나누면 가장 큰 로짓은 그대로 가장 큽니다. 고른 답이 같으니 정확도도 같고, 바뀌는 것은 신뢰도의 크기와 NLL, ECE 뿐입니다. 실험에서 T 를 어디로 옮겨도 정확도는 0.745 입니다.

보정은 어떤 자료로 맞추나요?

학습에 쓰지 않은 검증 세트로 맞추고, 또 다른 테스트 세트로 ECE 를 잽니다. 훈련 세트에서는 모델이 거의 다 맞히므로 큰 신뢰도가 맞아 보여 고칠 것을 찾지 못합니다.

낱말

여기서 쓴 말책에서 부르는 말
신뢰도가 실제와 맞는 정도보정(calibration)
고른 답의 확률신뢰도(confidence)
칸마다 정확도를 세운 그림신뢰도 그림(reliability diagram)
칸마다의 어긋남을 비중으로 더한 것기대 보정 오차(expected calibration error, ECE)
신뢰도로 나눈 칸구간, 빈(bin)
말한 것보다 덜 맞음 / 더 맞음과신(overconfidence) / 과소 확신(underconfidence)
확률로 바꾸기 전의 점수로짓(logit)
실제 답에 준 확률의 −log 평균음의 로그 가능도(negative log-likelihood, NLL), 교차 엔트로피
로짓을 숫자 하나로 나누기온도 조절, 온도 스케일링(temperature scaling)
점수 위에 로지스틱 회귀 맞추기Platt 스케일링(Platt scaling)
줄지 않는 계단 함수 맞추기등위 회귀(isotonic regression)
정답을 1 대신 1 − ε 로 주기레이블 스무딩(label smoothing)
학습에 쓰지 않고 맞추는 데 쓰는 자료검증 세트(validation set)

출처

← 하이퍼파라미터 찾기: 그리드 서치와 랜덤 서치양자화 →