혼동 행렬, 정밀도·재현율·F1

모델이 「양성」이라고 말한 것 가운데 몇 개가 맞았나, 진짜 양성 가운데 몇 개를 찾았나. 이 둘은 다른 질문이고, 양성과 음성을 가르는 임계값(threshold)을 옮기면 한쪽이 오를 때 다른 쪽이 내려갑니다. 점 30개 위에서 기준선을 끌며 네 칸과 세 지표가 어떻게 바뀌는지 보세요.

한 줄 답. 분류 모델의 답을 네 칸으로 셉니다: 참 양성(TP), 거짓 양성(FP), 거짓 음성(FN), 참 음성(TN). 정밀도 TP ÷ (TP + FP) 는 「양성이라고 말한 것 중 맞은 비율」, 재현율 TP ÷ (TP + FN) 은 「진짜 양성 중 찾은 비율」입니다. F1 은 둘의 조화 평균 2PR ÷ (P + R) 이라 한쪽만 좋으면 낮게 나옵니다. 음성이 훨씬 많은 자료에서는 맞힌 비율(정확도)만 보면 속습니다.

양성이라고 말함음성이라고 말함
진짜 양성참 양성 TP 거짓 음성 FN
진짜 음성거짓 양성 FP 참 음성 TN
정확도
정밀도
재현율
F1

그림을 좌우로 끌거나 숫자 칸을 고치세요(0 ~ 1, 화살표 키로 0.01 씩). 점수가 임계값 이상이면 양성이라고 말합니다. 위 줄의 초록 동그라미가 진짜 양성, 아래 줄의 파란 네모가 진짜 음성입니다. 점은 고정 시드(seed) 난수기로 지어낸 30개라 쪽을 열 때마다 같습니다. 진짜 모델 대신 점수만 지어낸 작게 줄인 본보기입니다. 진짜로는 모델이 자료마다 이 점수를 냅니다.

1. 네 칸과 세 지표

분류 모델은 자료마다 「양성일 정도」를 점수로 냅니다. 점수가 임계값 이상이면 「양성」이라고 말하고, 아니면 「음성」이라고 말합니다. 스팸이면 양성, 아니면 음성인 식입니다. 모델이 말한 것과 진짜 답을 짝지으면 경우가 넷뿐입니다.

칸쉬운 말모델이 말한 것진짜 답
TP맞게 잡음양성양성
FP헛잡음(헛경보)양성음성
FN놓침음성양성
TN맞게 거름음성음성

이 넷을 2 × 2 표로 놓은 것이 혼동 행렬입니다. 이름의 앞 글자(T, F)는 모델이 맞았나, 뒤 글자(P, N)는 모델이 무엇이라고 말했나입니다. 지표는 모두 이 네 수로 냅니다.

정밀도와 재현율은 분자가 같고(TP) 분모만 다릅니다. 정밀도의 분모는 혼동 행렬의 세로줄(양성이라고 말한 것), 재현율의 분모는 가로줄(진짜 양성)입니다.

2. 정확도가 속이는 경우

카드 거래 1,000 건 가운데 사기가 10 건이라고 합시다. 아무것도 보지 않고 「모두 정상」이라고 말하는 모델은 990 건을 맞혀 정확도가 0.99 입니다. 그런데 사기는 하나도 찾지 못했습니다. 재현율 0 ÷ (0 + 10) = 0 입니다.

음성이 훨씬 많으면(클래스 불균형) TN 이 정확도를 채워 버립니다. 위 실험도 진짜 음성이 20개, 양성이 10개라 임계값을 1 로 두어 아무것도 양성이라고 하지 않아도 정확도가 0.67 입니다. 0.95 로 두어 양성 10개 가운데 1개만 찾아도 0.7 입니다. 그래서 양성이 드물수록 정확도 대신 정밀도와 재현율을 봅니다.

3. 식이 만들어지는 과정: F1 은 왜 조화 평균인가

정밀도와 재현율을 숫자 하나로 묶고 싶을 때가 많습니다. 모델 여럿을 비교하거나 임계값 하나를 고를 때입니다. 그냥 평균을 내면 어떻게 되는지 아래에서 한 단계씩 넘겨 보세요. 그림의 가로는 정밀도 P, 세로는 재현율 R 이고, 점 하나가 모델 하나입니다.

위에 식이 한 조각씩 붙습니다. 옅은 주황 바탕은 이번에 붙은 조각, 진한 주황은 틀린 길입니다. 그림의 모델은 실험 ① 의 같은 점 30개에서 임계값을 0.95 로 둔 것입니다.

  1. 정밀도와 재현율. 임계값 0.95 이면 양성이라고 말한 것이 1개이고 맞았습니다. P = 1 ÷ (1 + 0) = 1. 진짜 양성 10개 가운데 1개만 찾았으니 R = 1 ÷ (1 + 9) = 0.1.
  2. 산술 평균 (P + R) ÷ 2. (1 + 0.1) ÷ 2 = 0.55. 10개 중 9개를 놓친 모델이 「반은 잘한다」가 됩니다. 정밀도와 재현율이 고르게 0.55 인 모델과 점수가 같습니다. 그림에서 산술 평균이 같은 모델들은 곧은 직선 위에 있어서, 한쪽을 다 버려도 다른 쪽이 크면 점수가 유지됩니다.
  3. 조화 평균 2 ÷ (1/P + 1/R). 값을 뒤집어 평균 내고 다시 뒤집습니다. 1/1 = 1, 1/0.1 = 10, 평균 5.5, 1 ÷ 5.5 ≈ 0.18. 작은 값은 뒤집으면 커서 평균을 끌고 가므로, 결과가 작은 쪽 가까이 붙습니다. 조화 평균은 작은 쪽의 두 배를 넘지 못합니다.
  4. 완성: F1 = 2PR ÷ (P + R) = 2TP ÷ (2TP + FP + FN). P 와 R 에 개수를 넣어 정리하면 TP 를 두 번, 두 실수를 한 번씩 세는 식이 됩니다. 이 모델은 2 ÷ (2 + 0 + 9) = 0.18. 이 꼴은 정밀도가 0 ÷ 0 이라 정해지지 않는 경우에도 값이 나옵니다.

두 실수의 가중치를 다르게 주고 싶으면 Fβ (1 + β²)·P·R ÷ (β²·P + R) 를 씁니다. β 가 1 이면 F1 이고, 1 보다 크면 재현율을, 작으면 정밀도를 더 무겁게 봅니다.

4. 손으로 풀어 보기: 임계값 0.5

실험 ① 의 처음 상태입니다. 점수가 0.5 이상인 것이 12개입니다.

  1. TP. 그 12개 가운데 진짜 양성: 0.63, 0.7, 0.74, 0.76, 0.78, 0.86, 0.88, 0.95. 8개.
  2. FP. 그 12개 가운데 진짜 음성: 0.51, 0.52, 0.55, 0.71. 4개.
  3. FN. 0.5 아래에 있는 진짜 양성: 0.3, 0.47. 2개. TN 은 남은 진짜 음성 20 − 4 = 16개.
  4. 지표. 정확도 (8 + 16) ÷ 30 = 0.8. 정밀도 8 ÷ (8 + 4) = 8 ÷ 12 ≈ 0.67. 재현율 8 ÷ (8 + 2) = 0.8. F1 2·8 ÷ (2·8 + 4 + 2) = 16 ÷ 22 ≈ 0.73. 0.67 과 0.8 의 산술 평균 0.73 과 거의 같습니다. 두 값이 가까우면 두 평균도 가깝고, 멀어질수록 조화 평균이 작은 쪽으로 끌려갑니다.

5. 임계값을 옮기면 둘이 맞바뀐다

임계값을 올리면 양성이라고 말하는 것이 줄어듭니다. 거짓 양성(FP)이 줄어 정밀도는 대개 오르고, 거짓 음성(FN)이 늘어 재현율은 내려갑니다. 내리면 반대입니다. 임계값은 모델을 다시 학습하지 않고 돌리는 손잡이라서, 어떤 실수를 더 참을 수 있는지에 따라 쓰는 쪽이 정합니다.

재현율은 임계값을 올리면 늘 같거나 줄어듭니다. 분모(진짜 양성의 수)는 그대로이고 TP 는 늘 수 없기 때문입니다. 정밀도는 그렇지 않습니다. 기준선이 진짜 양성 하나를 넘어가면 TP 만 하나 줄어 정밀도가 내려갈 수도 있습니다. 임계값마다 두 숫자가 어떻게 움직이는지 한 그림에 모은 것이 6절의 PR 곡선입니다.

해 볼 것. ① 처음 임계값 0.5 는 TP 8, FP 4, FN 2, TN 16 이고 정확도 0.8, 정밀도 0.67, 재현율 0.8, F1 0.73 입니다. ② 0.56 ~ 0.63 으로 올리면 FP 가 1 로 줄어 정밀도 0.89, 재현율은 0.8 그대로, F1 0.84 입니다. 이 자료에서 F1 이 가장 높은 곳입니다. ③ 0.64 로 하나만 더 올리면 점수 0.63 인 진짜 양성이 넘어가 TP 7, 정밀도가 0.88 로 내려갑니다. ④ 0.72 ~ 0.74 로 두면 거짓 양성이 0 이라 정밀도 1, 재현율은 0.6 입니다. 0.3 으로 내리면 재현율이 1 이고 정밀도는 0.43 입니다. ⑤ 1 로 두면 아무것도 양성이라고 하지 않습니다. 정밀도는 0 ÷ 0 이라 정해지지 않고, 재현율 0, F1 0, 그래도 정확도는 0.67 입니다. 0 으로 두면 모두 양성이라 재현율 1, 정밀도 0.33, F1 0.5 입니다.

의학 통계에서는 거짓 양성을 위양성, 거짓 음성을 위음성이라고 부르고, 재현율을 민감도라고 부릅니다. ROC 곡선 쪽은 그 이름을 씁니다.

6. PR 곡선과 평균 정밀도(AP)

임계값을 가장 높은 점수에서 시작해 점 하나씩 내리면, 걸음마다 (재현율, 정밀도) 짝이 하나 나옵니다. 이 점들을 이은 것이 PR 곡선(정밀도-재현율 곡선)입니다. 가로가 재현율, 세로가 정밀도입니다. 실험 ① 의 같은 점 30개로 한 걸음씩 그려 보세요.

위 띠에서 주황 세로선이 임계값이고, 그 오른쪽 주황 바탕이 양성이라고 말한 쪽, 주황 동그라미가 이번에 들어온 점입니다. 아래 그림의 초록 화살표는 진짜 양성(●)이 들어온 걸음, 파란 화살표는 진짜 음성(■)이 들어온 걸음입니다. 화살표 옆에 정밀도와 재현율이 어떻게 바뀌었는지 적힙니다.

톱니 모양이 생기는 까닭. 진짜 양성이 들어오면 TP 와 말한 수가 함께 1 늘어, 재현율이 0.1 오르고 정밀도는 오르거나 1 그대로입니다. 곡선이 오른쪽(위)으로 갑니다. 진짜 음성이 들어오면 말한 수만 1 늘어, 재현율은 그대로이고 정밀도만 내려갑니다. 곡선이 곧장 아래로 떨어집니다. 이 둘이 번갈아 나와 곡선이 톱니처럼 꺾입니다.

곡선 아래 넓이를 숫자 하나로 낸 것이 평균 정밀도(AP)입니다. 이 쪽은 이렇게 셉니다.

AP = Σ (Rₖ − Rₖ₋₁) × Pₖ

실험의 끝 걸음에서 칠한 막대가 이 합입니다. 폭 0.1, 높이 Pₖ 인 막대 10개라 0.1 × (1 + 1 + 1 + 1 + 1 + 1 + 0.88 + 0.89 + 0.6 + 0.43) ≈ 0.88 입니다. 곡선에서 F1 이 가장 높은 곳은 9걸음(임계값 0.63, 정밀도 0.89, 재현율 0.8, F1 0.84)으로, 5절 「해 볼 것」의 ② 와 같은 곳입니다. F1 은 임계값 하나에서 잰 숫자이고, AP 는 임계값 전체를 훑은 숫자입니다.

객체 탐지 쪽의 AP(재현율이 오를 때마다 그때의 정밀도를 곱해 더하기)와 검색 평가 쪽의 AP(정답이 나온 자리마다 그 자리까지의 정밀도를 더해 정답 수로 나누기)도 같은 계산입니다. 다만 곡선의 들쭉날쭉을 펴는 보간을 쓰는 벤치마크도 있어서, 같은 결과도 숫자가 조금 다르게 나올 수 있습니다.

ROC 곡선과 비교하면. ROC 곡선도 임계값 전체를 훑지만, 가로가 거짓 양성률(거짓 양성 ÷ 진짜 음성 전체), 세로가 재현율입니다. 클래스 불균형 쪽에 적은 대로, 거짓 양성률은 분모가 흔한 쪽 전체라 거짓 경보가 많아도 작아 보이고, 정밀도는 경보 가운데 몇 개가 거짓인지를 그대로 보여 줍니다. 그래서 불균형이 심하면 ROC 곡선보다 PR 곡선이 더 많은 것을 알려 줍니다.

7. 꼭 알아야 할 성질

성질쉬운 말실험에서
정확도는 불균형에 속는다음성이 많으면 모두 음성이라고만 해도 높다임계값 1: 정확도 0.67, 재현율 0
재현율은 임계값을 올리면 같거나 줄어든다양성이라고 말하는 것이 줄기만 하니 찾은 수가 늘 수 없다0 에서 1 로 끌면 1 → 0
정밀도는 대개 오르지만 늘 그렇지는 않다기준선이 진짜 양성을 넘어가면 TP 만 줄어든다0.63 → 0.64: 0.89 → 0.88
F1 은 작은 쪽에 끌린다조화 평균은 작은 쪽의 두 배를 넘지 못한다P 1, R 0.1 → F1 0.18
F1 은 TN 을 보지 않는다식 2TP ÷ (2TP + FP + FN) 에 TN 이 없다F1 칸의 식에 TN 의 수가 없다
아무것도 양성이라 하지 않으면 정밀도가 정해지지 않는다0 ÷ 0. scikit-learn 은 기본으로 0 으로 두고 경고를 낸다임계값 1

8. 클래스가 셋 이상이면: macro 와 micro

그림 20장(고양이 10, 개 5, 새 5)을 나누는 모델이 있다고 합시다. 고양이 10장 가운데 8장을 고양이, 2장을 개라고 했고, 개 5장은 모두 개라고 했고, 새 5장 가운데 1장만 새, 3장은 개, 1장은 고양이라고 했습니다. 클래스마다 「그 클래스가 양성, 나머지는 음성」으로 보고 네 칸을 셉니다.

위 문장의 장수를 3 × 3 표로 놓은 것입니다. 가로줄이 진짜 클래스, 세로줄이 모델이 말한 클래스입니다. 칠한 칸에는 이름표가 붙습니다: TP(초록, 대각선), FN(주황, 그 가로줄의 나머지), FP(파랑, 그 세로줄의 나머지). 걸음마다 아래 표의 그 클래스 줄이 채워집니다.

클래스TPFPFN정밀도재현율F1
고양이8120.890.80.84
개5500.510.67
새10410.20.33
macro: 클래스 F1 의 평균0.61
micro: 개수를 더해 한 번에14660.70.70.7

9. 언제 무엇을 쓰나

먼저 「거짓 양성(FP)과 거짓 음성(FN) 가운데 어느 실수가 더 비싼가」를 정합니다.

선택지좋은 점나쁜 점쓰는 경우
정확도하나로 읽기 쉽다. 네 칸을 다 쓴다한쪽이 많으면 속는다. 두 실수를 같은 값으로 친다양성·음성이 비슷하게 많고 두 실수의 값도 비슷할 때
정밀도양성이라는 답을 믿어도 되는지 알려 준다놓친 것을 보지 않는다. 아주 확실한 것만 양성이라 하면 쉽게 높아진다거짓 양성이 비쌀 때: 스팸 거르기(진짜 메일이 스팸함에 가면 곤란), 사람에게 보내는 경보가 적어야 할 때
재현율찾아야 할 것을 얼마나 찾았는지 알려 준다거짓 양성을 보지 않는다. 모두 양성이라 하면 1 이 된다거짓 음성이 비쌀 때: 병의 1차 검사, 사람이 다시 보는 사기 의심 거래 거르기
F1둘을 하나로 묶는다. 한쪽만 좋으면 낮게 나온다TN 을 보지 않는다. 두 실수를 같은 가중치로 본다양성이 드물고 두 실수의 값이 비슷할 때, 모델 여럿을 한 숫자로 비교할 때
Fβ한쪽 실수에 가중치를 더 줄 수 있다β 를 정할 근거가 따로 있어야 한다한쪽 실수가 더 비싼데 숫자 하나가 필요할 때
macro 평균클래스마다 같은 가중치. 드문 클래스의 실패가 드러난다장수가 적은 클래스 하나에 크게 흔들린다드문 클래스도 똑같이 중요할 때
micro 평균자료마다 같은 가중치. 덜 흔들린다흔한 클래스가 숫자를 정한다. 답이 하나씩이면 정확도와 같다전체에서 몇 개를 맞혔나가 중요할 때
ROC 곡선과 AUC임계값 하나가 아니라 전체를 본다임계값을 정해 주지는 않는다임계값을 정하기 전에 모델끼리 비교할 때(ROC 곡선 쪽)

어디에 쓰나

자주 묻는 것

정밀도와 재현율 가운데 무엇이 더 중요한가요?

어떤 실수가 더 비싼가로 정합니다. 거짓 음성(FN)이 비싸면 재현율을, 거짓 양성(FP)이 비싸면 정밀도를 봅니다. 두 실수의 값이 비슷하면 F1 을 봅니다. 어느 쪽이든 한 숫자만 보지 말고 다른 쪽이 얼마나 내려갔는지 같이 봅니다.

임계값은 늘 0.5 인가요?

아닙니다. 0.5 는 흔히 쓰는 출발점일 뿐입니다. 임계값은 모델이 아니라 쓰는 쪽이 정하는 손잡이입니다. 검증 세트에서 임계값을 옮겨 가며 원하는 정밀도와 재현율이 나오는 곳을 고르고, 테스트 세트로 한 번 더 확인합니다.

F1 이 높으면 좋은 모델인가요?

F1 은 두 가지를 보지 않습니다. 첫째, 식 2TP ÷ (2TP + FP + FN) 에 TN(맞게 거른 음성)이 없습니다. 둘째, 거짓 양성과 거짓 음성을 같은 가중치로 셉니다. 한쪽 실수가 더 비싸면 그쪽 지표를 보거나 Fβ 를 씁니다. 또 F1 은 임계값 하나에서 잰 숫자라, 임계값 전체를 보려면 ROC 곡선을 봅니다.

낱말

여기서 쓴 말책에서 부르는 말
네 칸 표혼동 행렬(confusion matrix)
맞게 잡음참 양성(true positive, TP)
헛잡음, 헛경보거짓 양성(false positive, FP), 1종 오류(type I error)
놓침거짓 음성(false negative, FN), 2종 오류(type II error)
맞게 거름참 음성(true negative, TN)
맞힌 비율정확도(accuracy)
말한 것 가운데 맞은 비율정밀도(precision), 양성 예측도(positive predictive value)
진짜 양성 가운데 찾은 비율재현율(recall), 민감도(sensitivity), 참 양성률(true positive rate)
정밀도와 재현율의 조화 평균F1 점수(F1 score, F-measure)
한쪽에 가중치를 더 준 FFβ 점수(F-beta score)
뒤집어 평균 내고 다시 뒤집기조화 평균(harmonic mean). 그냥 평균은 산술 평균(arithmetic mean)
양성과 음성을 가르는 점수분류 임계값, 결정 임계값(classification threshold, decision threshold)
한쪽 답이 훨씬 많은 자료클래스 불균형(class imbalance)
클래스마다 내서 평균매크로 평균(macro average)
개수를 모두 더해 한 번에마이크로 평균(micro average)
임계값을 내리며 찍은 (재현율, 정밀도) 곡선PR 곡선, 정밀도-재현율 곡선(precision-recall curve)
늘어난 재현율 × 그때의 정밀도를 더한 것평균 정밀도(average precision, AP)

출처

← 정합: 강체에서 비강체까지자료 나누기와 데이터 누수 →