진단 검사와 ROC 곡선: 임계값을 어디에 둘까
혈액 수치 하나로 병이 있는지 가린다고 해 봅시다. 환자의 수치가 대체로 높지만 건강한 사람과 겹치는 곳이 있습니다. 어디서부터 「양성」이라고 부를지, 그 선을 직접 끌어 보며 정합니다. 이 쪽의 수치와 사람은 모두 지어낸 것이고, 통계 개념을 설명하려는 것입니다.
한 줄 답. 검사 수치로 병이 있다·없다를 가르려면 임계값(threshold, cutoff)을 정해야 합니다. 기준을 낮추면 환자를 더 잡지만(민감도 ↑) 건강한 사람을 더 헛짚고(특이도 ↓), 높이면 그 반대입니다. 임계값을 끝에서 끝까지 옮기며 이 둘을 그린 것이 ROC 곡선이고, 그 아래 넓이(AUC)가 검사가 두 집단을 얼마나 잘 가르는지를 한 숫자로 말해 줍니다.
- 진양성(환자, 기준 이상):
- 위음성(환자, 기준 아래):
- 위양성(건강한 사람, 기준 이상):
- 진음성(건강한 사람, 기준 아래):
왼쪽 그림을 누르거나 끌면 기준선이 옮겨 갑니다. 막대와 숫자 칸으로도 바꿀 수 있습니다. 파란 곡선은 건강한 사람, 초록 곡선은 환자의 수치 분포입니다(지어낸 정규분포. 건강한 사람의 평균은 100, 환자의 평균은 100 + 거리, 표준편차는 둘이 같다). 임계값 이상이면 양성, 아래면 음성입니다. 오른쪽 그림의 주황 점이 지금 임계값입니다.
1. 임계값: 수치를 양성과 음성으로 가르기
많은 검사는 「있다·없다」가 아니라 숫자를 냅니다. 환자의 수치는 대체로 높고 건강한 사람의 수치는 대체로 낮지만, 두 집단은 겹칩니다. 판정을 하려면 선을 하나 긋고 그 이상을 양성, 아래를 음성이라고 부릅니다. 이 선이 임계값입니다. 임계값을 정하면 사람마다 네 칸 가운데 하나에 들어갑니다.
| 임계값 이상(양성) | 임계값 아래(음성) | |
|---|---|---|
| 환자 | 진양성 | 위음성(false negative) |
| 건강한 사람 | 위양성(false positive) | 진음성 |
이름은 분야마다 다릅니다. 의학 통계는 진양성·위양성·위음성·진음성이라고 하고, 머신러닝은 같은 네 칸을 참 양성(TP)·거짓 양성(FP)·거짓 음성(FN)·참 음성(TN)이라고 부릅니다. 정밀도와 재현율 쪽은 뒤의 이름을 씁니다. 민감도는 그쪽의 재현율과 같은 값입니다.
민감도 = 진양성 ÷ 환자 수, 곧 환자 가운데 양성으로 잡은 몫입니다. 특이도 = 진음성 ÷ 건강한 사람 수, 곧 건강한 사람 가운데 음성으로 둔 몫입니다. 위 실험에서는 사람 수 대신 곡선 아래 넓이로 셉니다. 환자 곡선 아래 넓이를 1 로 놓고, 그 가운데 기준선 오른쪽(초록 칠)이 민감도입니다.
임계값을 낮추면 환자를 더 잡아 민감도가 오르지만, 건강한 사람도 더 넘어와 특이도가 내려갑니다. 높이면 그 반대입니다. 임계값만 옮겨서는 둘을 함께 올릴 수 없습니다. 둘을 함께 올리려면 두 곡선이 덜 겹치는 더 나은 검사가 필요합니다. 1종·2종 오류와 검정력의 트레이드오프도 같은 모양입니다. 위양성이 1종 오류, 위음성이 2종 오류에 해당합니다.
검사 결과를 읽는 다른 숫자도 같은 네 칸에서 나옵니다. 양성 예측도와 음성 예측도는 베이즈 정리 쪽에서 사람 1000명으로 자세히 셉니다.
| 이름 | 무엇 안에서 세나 | 식 | 처음 값(임계값 115) |
|---|---|---|---|
| 민감도 | 환자 안에서 | 진양성 ÷ 환자 | 84.1% |
| 특이도 | 건강한 사람 안에서 | 진음성 ÷ 건강한 사람 | 84.1% |
| 양성 예측도(PPV) | 양성 안에서 | 진양성 ÷ 양성 | 유병률에 따라. 10% 면 37.1% |
| 음성 예측도(NPV) | 음성 안에서 | 진음성 ÷ 음성 | 유병률에 따라. 10% 면 97.9% |
| 양성 가능도 비(LR+) | 두 집단을 비교함 | 민감도 ÷ (1 − 특이도) | 84.1% ÷ 15.9% ≈ 5.3 |
| 음성 가능도 비(LR−) | 두 집단을 비교함 | (1 − 민감도) ÷ 특이도 | 15.9% ÷ 84.1% ≈ 0.19 |
민감도와 특이도는 환자 안에서, 건강한 사람 안에서 따로 세므로 유병률(검사받는 사람 가운데 환자의 몫)과 상관없습니다. 예측도는 양성인 사람 안에서, 음성인 사람 안에서 세므로 유병률에 따라 크게 달라집니다(8절). 가능도 비는 결과 하나가 「병 : 병 아님」의 비를 몇 배로 바꾸는지입니다. 양성이면 5.3배로 커지고, 음성이면 0.19배로 작아집니다. LR+ ÷ LR− 를 진단 오즈비라고 부르고, 처음 값에서 약 28.1 입니다(오즈비와 상대위험도).
해 볼 것. ① 처음(임계값 115, 거리 30, 표준편차 15)에는 민감도와 특이도가 모두 84.1% 입니다. 위음성과 위양성이 모두 15.9% 입니다. ② 임계값을 100 으로 내리면 민감도 97.7%, 특이도 50.0% 가 됩니다. 130 으로 올리면 민감도 50.0%, 특이도 97.7% 입니다. 한쪽을 얻으면 다른 쪽을 잃습니다.
2. ROC 곡선: 임계값을 끝에서 끝까지 옮기며
임계값 하나를 정하면 (1 − 특이도, 민감도) 라는 점 하나가 나옵니다. 가로는 건강한 사람 가운데 헛짚은 몫(위양성률), 세로는 환자 가운데 잡은 몫입니다. 임계값을 가장 높은 곳(모두 음성, 점 (0, 0))에서 가장 낮은 곳(모두 양성, 점 (1, 1))까지 옮기며 점들을 이은 것이 ROC 곡선입니다.
- 왼쪽 위 구석 (0, 1): 위양성 없이 환자를 모두 잡는 자리입니다. 곡선이 이쪽으로 붙을수록 좋은 검사입니다.
- 대각선: 검사가 아무것도 알려 주지 않을 때입니다. 두 분포가 똑같으면 어디서 잘라도 민감도 = 1 − 특이도라 점이 늘 대각선 위에 놓입니다. 동전을 던져 양성을 정하는 것과 같습니다.
- 곡선 아래 넓이(AUC): 곡선 전체를 숫자 하나로 줄인 것입니다. 대각선이면 0.5, 왼쪽 위 구석을 지나면 1 입니다.
ROC 는 receiver operating characteristic(수신기 작동 특성)의 머리글자입니다. 2차 세계대전 때 레이더 수신기가 잡음 속에서 진짜 신호를 얼마나 잘 가려내는지 재던 데서 나온 이름이고, 그 뒤 신호 탐지 이론을 거쳐 의학 검사와 기계 학습으로 넘어왔습니다.
실험 1 처럼 두 집단이 표준편차가 같은 정규분포이면 AUC 를 식 하나로 구할 수 있습니다.
AUC = Φ(거리 ÷ (표준편차 × √2))
Φ 는 표준정규분포에서 그 값보다 작을 확률입니다(정규분포). 까닭은 5절에서 봅니다. AUC 는 「환자 한 명의 수치가 건강한 사람 한 명보다 클 확률」이고, 두 수치의 차이는 평균이 거리, 표준편차가 원래 표준편차 × √2 인 정규분포라서 그 차이가 0 보다 클 확률이 이 식입니다. 그래서 AUC 는 거리 ÷ 표준편차 하나로 정해집니다.
해 볼 것. ③ 임계값을 30 에서 230 까지 끌어 보세요. 주황 점이 (1, 1) 에서 (0, 0) 까지 곡선을 따라 갑니다. 곡선과 AUC 0.921 은 임계값과 상관없이 그대로입니다. ④ 거리를 0 으로 두면 두 곡선이 겹치고 ROC 가 대각선이 되어 AUC 0.500 입니다. 거리를 60 으로 벌리면 0.998 로 왼쪽 위 구석에 붙습니다. 거리 30 에서 표준편차를 30 으로 늘리면 0.760 입니다. 거리 60, 표준편차 30 은 처음과 같은 0.921 입니다. 거리 ÷ 표준편차가 같으면 AUC 도 같습니다.
3. 점 자료로 곡선 그리기
실제 자료는 매끈한 곡선이 아니라 사람마다 점수 하나와 「환자인가, 건강한가」의 꼬리표입니다. ROC 곡선은 이렇게 그립니다.
1. 점수가 높은 사람부터 정렬한다.
2. 임계값을 맨 위보다 높게 둔다. 모두 음성이고 점은 (0, 0).
3. 임계값을 다음 점수로 내린다(그 점수 이상이 양성).
지난 사람이 환자면 위로 1 ÷ 환자 수, 건강한 사람이면 오른쪽으로 1 ÷ 건강한 사람 수.
4. 같은 점수가 여럿이면 한꺼번에 지나, 위와 오른쪽으로 함께(비스듬히) 간다.
5. 맨 아래까지 내리면 모두 양성이고 점은 (1, 1).
점수가 높은 차례로 늘어놓은 지어낸 사람 20명입니다. 칠한 단추가 지금 양성, 테두리만 있는 단추가 음성이고, 주황 줄이 임계값 자리입니다. 환자와 건강은 글자로도 적었습니다. 단추를 누르면 그 사람의 꼬리표가 바뀌고 곡선이 다시 그려집니다.
해 볼 것. ① 「다음 임계값」을 두 번 누르면 152 점과 141 점의 환자를 지나 (0, 0.250) 까지 곧장 올라갑니다. 세 번째에 136 점의 건강한 사람을 지나 오른쪽으로 한 칸(0.083) 갑니다. ② 아홉 번째(임계값 115)는 환자와 건강한 사람이 같은 점수라 (0.250, 0.625) 에서 (0.333, 0.750) 으로 비스듬히 갑니다. ③ 「끝까지」를 누르면 (1, 1) 에 닿고 AUC 는 0.797 입니다. ④ 맨 앞의 152 점 환자를 눌러 건강한 사람으로 바꾸면 곡선이 처음부터 오른쪽으로 가고 AUC 가 0.709 로 내려갑니다. 「꼬리표 되돌리기」 뒤에 97 점 환자를 건강한 사람으로 바꾸면 0.863 으로 오릅니다. 점수가 낮은 환자가 줄었기 때문입니다. ⑤ 「꼬리표 모두 뒤집기」를 누르면 곡선이 대각선을 사이에 두고 뒤집혀 AUC 가 1 − 0.797 = 0.203 이 됩니다.
4. 손으로 따라 풀기: 여섯 명
환자 셋의 점수가 9, 7, 4 이고 건강한 사람 셋의 점수가 8, 5, 2 입니다. 점수가 높은 차례로 9(환자), 8(건강), 7(환자), 5(건강), 4(환자), 2(건강) 입니다. 위로 한 칸은 1 ÷ 3, 오른쪽으로 한 칸도 1 ÷ 3 입니다.
| 임계값(이상이 양성) | 방금 지난 사람 | 민감도 | 1 − 특이도 | 점 |
|---|---|---|---|---|
| 9 보다 위 | 없음 | 0 | 0 | (0, 0) |
| 9 | 환자 → 위로 | 1/3 | 0 | (0, 0.33) |
| 8 | 건강 → 오른쪽으로 | 1/3 | 1/3 | (0.33, 0.33) |
| 7 | 환자 → 위로 | 2/3 | 1/3 | (0.33, 0.67) |
| 5 | 건강 → 오른쪽으로 | 2/3 | 2/3 | (0.67, 0.67) |
| 4 | 환자 → 위로 | 1 | 2/3 | (0.67, 1) |
| 2 | 건강 → 오른쪽으로 | 1 | 1 | (1, 1) |
- 넓이로 재기. 곡선은 위로 가는 부분과 오른쪽으로 가는 부분으로만 되어 있습니다. 넓이는 오른쪽으로 가는 부분 아래의 직사각형을 더하면 됩니다. 폭은 모두 1/3 이고 높이는 차례로 1/3, 2/3, 1 입니다.
AUC = 1/3 × 1/3 + 1/3 × 2/3 + 1/3 × 1 = 1/9 + 2/9 + 3/9 = 6/9 ≈ 0.667. - 쌍으로 세기. 환자와 건강한 사람의 쌍은 3 × 3 = 9개입니다. 환자의 점수가 더 높은 쌍을 셉니다. 9 점 환자는 8, 5, 2 모두를 이겨 3, 7 점 환자는 5 와 2 를 이겨 2, 4 점 환자는 2 를 이겨 1. 모두 6 이고
6 ÷ 9 ≈ 0.667입니다.
두 길이 같은 답을 냅니다. 우연이 아닙니다. 다음 절에서 그 까닭을 그림으로 조립합니다.
5. 식이 만들어지는 과정: AUC = 환자가 이길 확률
4절에서 곡선 아래 넓이와 쌍 세기가 같은 값을 냈습니다. 실험 2 의 20명(환자 8명, 건강한 사람 12명)으로 왜 그런지 한 단계씩 봅니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 줄씩 붙고(주황 바탕이 이번에 붙은 줄), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 그림은 실험 2 의 처음 꼬리표를 씁니다. 실험 2 에서 꼬리표를 바꿔도 이 그림은 바뀌지 않습니다.
- 모든 쌍:
쌍의 수 = 환자 수 × 건강한 사람 수 = 8 × 12 = 96. 환자를 줄로, 건강한 사람을 칸으로 놓으면 96칸 격자가 됩니다. 까닭: 묻는 것이 「환자 한 명과 건강한 사람 한 명을 아무렇게나 뽑았을 때 환자의 점수가 더 높을 확률」이라, 뽑을 수 있는 쌍을 모두 늘어놓습니다. 쌍마다 뽑힐 확률은 1/96 로 같습니다. - 이긴 칸 칠하기:
이긴 칸 = (환자 > 건강한 사람) + ½ × (같음) = 76 + ½ × 1 = 76.5. 환자의 점수가 더 높은 76칸을 칠하고, 둘 다 115 점인 칸 하나는 반만 칠합니다. 까닭: 같은 점수에서는 검사가 두 사람을 가르지 못합니다. 동전을 던져 정한다고 보면 이길 확률이 ½ 이라 ½ 로 셉니다. - 몫:
이긴 몫 = 76.5 ÷ 96 ≈ 0.797. 까닭: 쌍마다 뽑힐 확률이 같으니, 칠한 칸의 몫이 곧 환자가 이길 확률입니다. - 점수 순으로 정렬하기. 칸 안의 승패는 그대로 두고 줄과 칸의 순서만 바꿉니다. 건강한 사람은 점수가 높은 사람을 왼쪽에, 환자는 점수가 높은 사람을 아래에 둡니다. 그러면 어느 세로 줄(건강한 사람 한 명)에서든 이긴 칸이 아래쪽에 모입니다. 그 사람보다 점수가 높은 환자가 모두 아래에 있기 때문입니다. 오른쪽으로 갈수록 건강한 사람의 점수가 낮아져 이긴 칸이 늘어나니, 칠한 곳이 계단이 됩니다. 까닭: 순서를 바꿔도 칠한 칸은 76.5 그대로라 몫도 그대로입니다. 바뀌는 것은 모양뿐이고, 이 모양이 다음 단계의 열쇠입니다.
- ROC 곡선 겹치기:
AUC = ROC 곡선 아래 넓이 = P(환자 > 건강한 사람) + ½ × P(같음). 격자의 가로 한 칸은 1 ÷ 12, 세로 한 칸은 1 ÷ 8 이라 격자 전체가 넓이 1 인 ROC 평면입니다. 임계값을 내리다 건강한 사람 한 명을 지나면 ROC 곡선은 그 사람의 세로 줄 위를 오른쪽으로 한 칸 가는데, 그때의 높이(민감도)는 「그 사람보다 점수가 높은 환자 수 ÷ 8」입니다. 바로 그 세로 줄에서 칠한 높이입니다. 동점인 칸에서는 곡선이 대각선으로 지나 칸의 반을 남기고, 그것이 반만 칠한 칸입니다. 그래서 칠한 영역이 곧 ROC 곡선 아래 영역이고, 넓이가 곧 이길 확률입니다.
여기서 센 「모든 쌍에서 환자가 이긴 수(동점은 ½)」는 비모수 검정 쪽의 맨-휘트니 U 와 같은 값입니다. 그래서 AUC = U ÷ (환자 수 × 건강한 사람 수) 입니다. 두 집단의 점수가 어느 쪽으로 치우쳤는지 재는 검정과, 검사가 두 집단을 얼마나 잘 가르는지 재는 넓이가 같은 숫자에서 나옵니다.
해 볼 것. ① 「다음」을 한 번 누르면 이긴 76칸과 반 칸이 칠해집니다. 칠한 칸이 격자 여기저기 흩어져 있습니다. ② 한 번 더 누르면 오른쪽 막대에 칠한 몫 0.797 이 나옵니다. ③ 넷째 단계에서 줄과 칸이 옮겨 가며 칠한 칸이 오른쪽 아래의 계단으로 모입니다. ④ 마지막 단계의 검은 곡선은 실험 2 에서 「끝까지」를 눌렀을 때와 같은 곡선입니다. 115 점 동점 칸에서 곡선이 칸을 대각선으로 가르는 곳을 보세요.
6. AUC 를 읽는 법과 한계
| AUC | 뜻 |
|---|---|
| 1 | 모든 환자가 모든 건강한 사람보다 점수가 높다. 임계값 하나로 완벽하게 가를 수 있다 |
| 0.5 와 1 사이 | 환자를 하나, 건강한 사람을 하나 뽑으면 그 확률로 환자의 점수가 더 높다 |
| 0.5 | 동전 던지기와 같다. 검사가 두 집단을 가르지 못한다 |
| 0.5 보다 작다 | 방향이 거꾸로다. 점수가 낮을수록 환자로 읽으면 1 − AUC 가 된다 |
이렇게 읽으면 틀립니다.
- 「AUC 0.921 이니 92.1% 를 맞게 판정한다」. 틀립니다. AUC 는 임계값 하나의 정확도가 아니라, 모든 임계값을 훑은 결과를 「쌍에서 환자가 이길 확률」로 줄인 것입니다. 실험 1 의 처음 값에서 임계값 115 로 판정하면 환자의 84.1%, 건강한 사람의 84.1% 를 맞힙니다. 임계값 하나에서의 성능은 AUC 가 말해 주지 않습니다.
- 「AUC 가 높으니 양성이면 거의 병이다」. 틀립니다. 양성 예측도는 유병률에 달려 있습니다. AUC 0.921 인 같은 검사, 같은 임계값 115 도 유병률이 1% 면 양성 가운데 5.1% 만 환자입니다(8절).
- 「AUC 가 같은 두 검사는 어디서나 똑같이 좋다」. 틀립니다. 두 곡선이 엇갈릴 수 있습니다. 하나는 민감도가 높은 쪽에서, 다른 하나는 특이도가 높은 쪽에서 나을 수 있습니다. 쓰려는 쪽의 곡선 모양을 따로 봅니다.
- 「AUC 는 검사가 가진 고정된 값이다」. 아닙니다. 누구를 모아 쟀는지에 따라 달라집니다(11절).
7. 가장 좋은 임계값은 상황에 따라 다르다
ROC 곡선은 고를 수 있는 임계값을 모두 보여 줄 뿐, 어느 것을 쓸지는 정해 주지 않습니다. 흔히 쓰는 고르는 법이 둘 있습니다.
- 유덴 지수.
J = 민감도 + 특이도 − 1. ROC 평면에서 점이 대각선보다 얼마나 위에 있는지(세로 거리)입니다. J 가 가장 큰 임계값을 고릅니다. 실험 1 의 처음 두 분포에서는 두 곡선이 만나는 115 이고, J = 0.683 입니다. 손해와 유병률을 보지 않는 고르는 법입니다. - 기대 손해가 가장 작은 임계값. 위음성 한 번과 위양성 한 번에 손해를 매기고, 한 사람당 평균 손해를 셉니다.
기대 손해 = 유병률 × (1 − 민감도) × 위음성 손해 + (1 − 유병률) × (1 − 특이도) × 위양성 손해. 맞게 판정하면 손해 0 으로 봅니다.
막대를 끌거나 숫자를 고쳐 보세요. 손해는 「몇 배 더 나쁜가」만 뜻이 있는 지어낸 단위입니다. 단추는 두 손해만 바꾸고 유병률은 그대로 둡니다. 분포는 실험 1 의 처음 값(건강 100, 환자 130, 표준편차 15)으로 고정했습니다.
왼쪽 그림의 주황 점선은 기대 손해가 같은 점들을 이은 직선입니다. 기울기가 (1 − 유병률) × 위양성 손해 ÷ (유병률 × 위음성 손해) 이고, 이 직선이 곡선에 바깥에서 닿는 자리가 손해가 가장 작은 점입니다. 위음성이 비싸면 직선이 눕고 닿는 점이 오른쪽 위(낮은 임계값, 높은 민감도)로 갑니다. 위양성이 비싸거나 병이 드물면 직선이 서고 왼쪽 아래(높은 임계값, 높은 특이도)로 갑니다. 두 손해가 같고 유병률이 50% 면 기울기가 1 이고, 이때 닿는 점이 유덴 지수가 가장 큰 점입니다.
선별 검사와 확진 검사. 선별 검사는 많은 사람 가운데 더 볼 사람을 골라내는 첫 검사입니다. 놓치면 다음 기회가 없으니 임계값을 낮춰 민감도를 높이고, 양성은 다른 검사로 다시 확인합니다. 확진 검사는 병이라고 정하기 전의 검사라 위양성의 손해가 큽니다. 임계값을 높여 특이도를 높입니다. 다만 선별 검사는 병이 드문 집단에 하는 일이 많아, 유병률은 임계값을 거꾸로 위로 밉니다. 실제 임계값은 손해를 숫자 하나로 매기기 어려워 여러 근거와 지침으로 정합니다. 이 실험은 손해와 유병률이 임계값을 어느 쪽으로 미는지 보여 주는 장난감입니다.
해 볼 것. ① 처음(두 손해 1, 유병률 50%)에는 두 점이 같은 자리, 임계값 115 에 있습니다. ② 「위음성이 10배」를 누르면 손해 최소 임계값이 97.7 로 내려가고 민감도 98.4%, 특이도 43.9% 가 됩니다. ③ 「위양성이 10배」는 거꾸로 132.3 에서 민감도 43.9%, 특이도 98.4% 입니다. ④ 「같은 손해」로 두고 유병률을 10% 로 내리면 131.5(민감도 46.0%, 특이도 98.2%)로 올라갑니다. 건강한 사람이 많아 위양성이 쌓이기 때문입니다. ⑤ 유병률 10% 에서 「위음성이 10배」를 누르면 114.2(민감도 85.4%, 특이도 82.8%)로, 두 힘이 맞서 유덴 자리 가까이로 돌아옵니다. 유덴 점은 내내 115 에 있습니다.
8. 유병률이 바뀌면: 예측도와 정밀도-재현율 곡선
같은 검사, 같은 임계값이면 민감도와 특이도, 그리고 ROC 곡선은 그대로입니다. 그런데 「양성이 나왔을 때 정말 환자일 확률」(양성 예측도)은 검사받는 집단에 환자가 얼마나 있느냐에 따라 크게 달라집니다. 사람 수로 세는 법은 베이즈 정리 쪽에 있고, 식으로는 이렇습니다.
PPV = 민감도 × 유병률 ÷ (민감도 × 유병률 + (1 − 특이도) × (1 − 유병률))
NPV = 특이도 × (1 − 유병률) ÷ (특이도 × (1 − 유병률) + (1 − 민감도) × 유병률)
PPV: 양성 예측도. 양성이 나왔을 때 정말 환자일 확률.NPV: 음성 예측도. 음성 가운데 진음성의 몫.민감도: 환자 안에서 진양성의 몫.특이도: 건강한 사람 안에서 진음성의 몫.유병률: 검사받는 사람 가운데 환자의 몫.
기계 학습에서는 양성 예측도를 정밀도, 민감도를 재현율이라고 부릅니다(검색 평가 쪽의 정밀도·재현율과 같은 것). 임계값을 옮기며 (재현율, 정밀도) 를 그린 것이 정밀도-재현율 곡선입니다.
막대를 끌거나 숫자를 고쳐 보세요. 분포는 실험 1 의 처음 값으로 고정했습니다. 그래서 ROC 곡선과 AUC 0.921 은 막대를 어떻게 움직여도 바뀌지 않습니다.
병이 아주 드물면 ROC 는 좋아 보여도 정밀도는 낮을 수 있습니다. ROC 의 가로축은 위양성 수를 건강한 사람 수로 나눕니다. 유병률 1% 에서 1000명을 검사하면 건강한 사람 990명 가운데 약 157명을 헛짚는데, 가로로는 0.159 일 뿐입니다. 정밀도는 양성으로 판정한 사람 안에서 세니, 진양성 8.4명 옆에 위양성 약 157명이 그대로 드러납니다. 찾는 것이 드문 문제(드문 병, 사기 거래, 불량품 찾기)에서는 정밀도-재현율 곡선을 같이 봅니다.
해 볼 것. ① 처음(유병률 10%, 임계값 115)에는 PPV 37.1%, NPV 97.9% 입니다. ② 유병률을 1% 로 내리면 PPV 5.1%, NPV 99.8% 가 되고, 오른쪽 곡선이 아래로 가라앉습니다. 민감도와 특이도는 84.1% 그대로입니다. ③ 유병률 1% 에서 임계값을 145 로 올리면 민감도는 15.9% 로 떨어지지만 PPV 는 54.3% 로 오릅니다. ④ 유병률을 50% 로 올리고 임계값을 115 로 두면 PPV 와 NPV 가 모두 84.1% 입니다.
9. 가능도 비: 검사 결과가 병의 확률을 얼마나 바꾸나
8절의 예측도는 유병률을 넣어야 나옵니다. 그런데 진료에서는 흔히 한 사람을 두고 묻습니다. 「증상과 나이로 보아 이 사람이 병이 있을 확률은 10% 쯤이다. 검사가 양성이면 얼마로 오르나?」 이 물음에 답하는 것이 가능도 비(우도비, likelihood ratio)입니다. 1절의 표에 식만 적어 둔 것을 여기서 씁니다.
- 양성 가능도 비
LR+ = 민감도 ÷ (1 − 특이도). 환자에게서 양성이 나올 확률이 환자가 아닌 사람에게서보다 몇 배인가. - 음성 가능도 비
LR− = (1 − 민감도) ÷ 특이도. 환자에게서 음성이 나올 확률이 환자가 아닌 사람에게서보다 몇 배인가.
쓰는 법은 세 걸음입니다. 가능도 비는 확률에 바로 곱하지 않고(10% × 4.5 = 45% 는 틀린 답) 오즈를 거칩니다.
- 검사 전에 병이 있을 확률(사전 확률, 검사 전 확률)을 될 확률 ÷ 안 될 확률(오즈. 오즈비와 상대위험도 쪽의 그 오즈)로 바꾼다.
오즈 = 확률 ÷ (1 − 확률). - 결과에 맞는 가능도 비를 곱한다. 양성이면 LR+, 음성이면 LR−.
- 다시 확률로 바꾼다.
확률 = 오즈 ÷ (1 + 오즈). 이것이 검사 뒤에 병이 있을 확률(사후 확률, 검사 뒤 확률)이다.
손으로 풀기. 민감도 0.9, 특이도 0.8 인 검사를 검사 전 확률 10% 인 사람에게 합니다.
| 걸음 | 양성이 나오면 | 음성이 나오면 |
|---|---|---|
| 가능도 비 | LR+ = 0.9 ÷ 0.2 = 4.5 | LR− = 0.1 ÷ 0.8 = 0.125 |
| ① 검사 전 오즈 | 0.1 ÷ 0.9 = 1/9 ≈ 0.111 | 1/9 ≈ 0.111 |
| ② 가능도 비 곱하기 | 1/9 × 4.5 = 0.5 | 1/9 × 0.125 = 1/72 ≈ 0.014 |
| ③ 확률로 | 0.5 ÷ 1.5 ≈ 33.3% | (1/72) ÷ (73/72) = 1/73 ≈ 1.4% |
1000명으로 세어도 같습니다. 환자 100명 가운데 90명, 건강한 사람 900명 가운데 180명이 양성이니 양성 270명 가운데 환자는 90명, 33.3% 입니다. 음성 730명 가운데 환자는 10명, 1.4% 입니다. 이 세 걸음은 베이즈 정리를 오즈로 다시 쓴 꼴입니다. 검사 뒤 오즈 = 검사 전 오즈 × 가능도 비.
예측도와 다른 점. 가능도 비는 민감도와 특이도만으로 정해지니 유병률이 바뀌어도 그대로입니다. 예측도는 유병률에 따라 바뀝니다(8절). 그래서 검사의 가능도 비를 알면 다른 병원이나 다른 집단에서도 그곳의 검사 전 확률에 곱해 쓸 수 있습니다. 다만 민감도와 특이도도 누구를 모아 쟀는지에 따라 달라지니(11절), 가능도 비도 그만큼 달라집니다.
| 가능도 비 | 읽는 법 |
|---|---|
| 1 (LR+ 든 LR− 든) | 그 결과가 나와도 확률이 그대로다. 그 결과로는 아무것도 알 수 없다 |
| LR+ 가 1 보다 클수록 | 양성일 때 병을 더 강하게 가리킨다 |
| LR− 가 0 에 가까울수록 | 음성일 때 병을 더 강하게 지운다 |
흔히 쓰는 어림으로는 LR+ 가 10 을 넘거나 LR− 가 0.1 아래면 결과가 판단을 크게 바꾼다고 봅니다. 정해진 선은 아닙니다. 얼마나 바뀌는지는 검사 전 확률에 따라 다르니, 아래 실험처럼 직접 곱해 봅니다.
ROC 곡선과의 관계. ROC 곡선 위의 한 점 (1 − 특이도, 민감도) 과 원점 (0, 0) 을 이은 직선의 기울기는 민감도 ÷ (1 − 특이도), 곧 그 임계값의 LR+ 입니다. 실험 1 의 처음 점 (0.159, 0.841) 은 기울기가 약 5.3 입니다. 임계값을 옮기면 점이 옮겨 가니 LR+ 도 바뀝니다. 대각선 위의 점은 기울기가 1 이라 LR+ = 1 입니다.
막대를 끌거나 숫자를 고쳐 보세요. 이 실험의 민감도와 특이도는 실험 1 과 따로 직접 넣습니다. 처음 값은 위의 손 예제와 같습니다.
해 볼 것. ① 처음(검사 전 10%, 민감도 90%, 특이도 80%)에는 LR+ 4.5, LR− 0.125 이고, 양성이면 33.3%, 음성이면 1.4% 입니다. 손 예제와 같습니다. ② 검사 전 확률을 50% 로 올리면 양성이면 81.8%, 음성이면 11.1% 입니다. 1% 로 내리면 양성이어도 4.3% 입니다. 그동안 가능도 비는 4.5 와 0.125 그대로입니다. ③ 검사 전 10% 에서 특이도를 99% 로 올리면 LR+ 가 90 이 되어 양성일 때 90.9% 로 뜁니다. ④ 민감도 80%, 특이도 20% 로 두면 LR+ 와 LR− 가 모두 1 이고 세 막대가 같은 높이입니다.
10. 꼭 알아 둘 성질
| 성질 | 쉬운 말 | 어디서 보나 |
|---|---|---|
| 민감도와 특이도는 맞바뀐다 | 임계값을 낮추면 민감도가 오르고 특이도가 내려간다. 둘을 함께 올리려면 검사 자체가 나아져야 한다(두 분포가 벌어져야 한다) | 실험 1 |
| ROC 와 AUC 는 유병률과 상관없다 | 환자 안, 건강한 사람 안에서 따로 세기 때문이다. 예측도와 정밀도는 유병률에 따라 달라진다 | 실험 5 |
| AUC 는 순서만 본다 | 점수를 순서를 지키며 바꿔도(두 배 하거나 로그를 씌우거나) 그대로다. 그래서 점수가 확률로서 맞는지(보정)는 알려 주지 않는다 | 5절의 격자 |
| 방향을 뒤집으면 1 − AUC | 꼬리표나 점수의 방향을 뒤집으면 곡선이 대각선을 사이에 두고 뒤집힌다 | 실험 2 의 뒤집기 |
| 두 분포가 같으면 0.5 | 어디서 잘라도 민감도 = 1 − 특이도라 곡선이 대각선이다 | 실험 1 의 거리 0 |
11. 조심할 것
연속 수치를 예/아니오로 자르면 정보를 잃는다
임계값 115 로 자르면 116 과 180 이 똑같이 「양성」이 되고, 114 와 116 은 정반대가 됩니다. 수치에 담긴 「얼마나」가 사라집니다. 연구에서 연속 수치를 둘로 잘라 분석하면 정보가 줄어 검정력이 떨어집니다(Altman, Royston 2006). 판정에는 임계값이 필요하지만, 분석과 보고에는 수치를 그대로 쓰고 임계값은 쓰임에 맞춰 따로 정합니다. 또 같은 자료로 「가장 좋은」 임계값을 고르고 그 자료로 민감도와 특이도를 재면 실제보다 좋게 나옵니다. 자료의 우연한 생김새에 맞춘 것이기 때문입니다(과적합). 고른 임계값은 새 자료로 다시 잽니다.
스펙트럼 편향(spectrum bias): 검사 연구에서 흔한 치우침
검사를 평가하는 연구가 진단이 이미 뚜렷한 환자와 아주 건강한 지원자만 골라 비교하면, 두 분포가 실제보다 멀리 떨어져 민감도, 특이도, AUC 가 실제보다 좋게 나옵니다. 실험 1 에서 거리를 키운 것과 같습니다. 실제로 그 검사를 받는 사람들은 증상이 애매하거나 비슷한 다른 병을 가진 사람이 많아 분포가 더 겹칩니다. 환자군과 대조군을 따로 모은 설계(사례-대조 설계)가 검사 성능을 부풀리는 경향은 여러 검사 연구를 모아 본 연구에서 보고되었습니다(Lijmer 등 1999). 그래서 실제로 검사를 받게 될 사람들을 차례로 모아 재는 설계를 더 믿고, 한 집단에서 잰 AUC 를 다른 집단에 그대로 옮기지 않습니다. 편향 일반은 교란과 편향 쪽에서 봅니다.
어디에 쓰나
- 진단 검사 평가. 새 검사를 기존 검사와 비교할 때 같은 사람들에게서 잰 ROC 곡선과 AUC 를 비교하고, 쓰려는 임계값에서의 민감도와 특이도를 함께 적습니다.
- 기계 학습 분류기 평가. 분류기가 내는 점수(확률)는 검사 수치와 같고, 로지스틱 회귀 쪽의 임계값과 같은 것입니다. 임계값을 하나로 정하기 전에 ROC 곡선과 AUC 로 모델끼리 비교하고, 양성이 드물면 정밀도와 재현율(검색 평가)을 같이 봅니다.
- 위험 점수. 여러 요인을 더해 만든 점수가 어떤 일이 생길 사람과 아닌 사람을 얼마나 잘 가르는지 잴 때 AUC 를 씁니다. 이때는 c 통계량(일치 확률)이라고도 부릅니다.
- 신호 탐지. 이름이 온 곳입니다. 노이즈 속에서 신호를 고를 때, 감도를 올리면 오경보가 느는 트레이드오프를 같은 그림으로 봅니다.
# scikit-learn: y_true 는 1 = 환자, 0 = 건강. scores 는 높을수록 환자 쪽
from sklearn.metrics import roc_curve, roc_auc_score
fpr, tpr, thresholds = roc_curve(y_true, scores) # thresholds 이상을 양성으로 본 (1 − 특이도, 민감도)
auc = roc_auc_score(y_true, scores)
자주 묻는 것
AUC 는 얼마면 좋은 검사인가요?
정해진 선은 없습니다. 0.5 는 동전 던지기, 1 은 완벽입니다. AUC 는 같은 집단에서 잰 다른 검사와 비교할 때 쓰고, 실제로 쓸 임계값에서의 민감도와 특이도를 같이 봅니다. AUC 가 높아도 유병률이 낮으면 양성 예측도는 낮을 수 있습니다.
AUC 0.9 는 90% 를 맞힌다는 뜻인가요?
아닙니다. 환자 한 명과 건강한 사람 한 명을 아무렇게나 뽑았을 때 환자의 점수가 더 높을 확률이 0.9 라는 뜻입니다. 맞힌 비율은 임계값과 유병률을 정해야 나옵니다.
AUC 가 0.5 보다 작으면 무슨 뜻인가요?
검사가 거꾸로 가르고 있다는 뜻입니다. 점수가 낮을수록 환자로 읽으면 AUC 는 1 − (원래 AUC) 가 됩니다. 자료를 본 뒤에 방향을 뒤집으면 실제보다 좋아 보이기 쉬우니, 방향은 미리 정합니다.
가장 좋은 임계값은 어떻게 고르나요?
위음성과 위양성 가운데 어느 쪽 손해가 더 큰지, 검사받는 집단의 유병률이 얼마인지에 따라 다릅니다. 유덴 지수가 가장 큰 점은 두 손해가 같고 유병률이 50% 일 때의 답과 같습니다. 같은 자료로 임계값을 고르고 그 자료로 성능을 재면 실제보다 좋게 나옵니다.
ROC 곡선과 정밀도-재현율 곡선은 언제 무엇을 보나요?
ROC 곡선은 유병률과 상관없는, 검사 자체가 두 집단을 가르는 힘을 봅니다. 정밀도-재현율 곡선은 양성으로 판정한 것 가운데 진짜가 얼마인지를 보므로, 찾는 것이 아주 드물 때 실제로 쓸 만한지가 더 잘 드러납니다. 둘을 같이 봐도 됩니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 양성과 음성을 가르는 값 | 절단값, 컷오프(cutoff), 임계값·임계값(threshold) |
| 환자 가운데 양성으로 잡은 몫 | 민감도(sensitivity), 진양성률(true positive rate, TPR), 재현율(recall) |
| 건강한 사람 가운데 음성으로 둔 몫 | 특이도(specificity), 진음성률(true negative rate) |
| 1 − 특이도, 헛짚은 몫 | 위양성률(false positive rate, FPR) |
| 환자를 놓침, 건강한 사람을 헛짚음 | 위음성(false negative), 위양성(false positive) |
| 양성 가운데 환자의 몫 | 양성 예측도(positive predictive value, PPV), 정밀도(precision) |
| 음성 가운데 건강한 사람의 몫 | 음성 예측도(negative predictive value, NPV) |
| 검사받는 집단 가운데 환자의 몫 | 유병률(prevalence) |
| 결과가 「병 : 병 아님」의 비를 바꾸는 배수 | 가능도 비, 우도비(likelihood ratio, LR+, LR−). LR+ ÷ LR− 는 진단 오즈비(diagnostic odds ratio) |
| 검사 전에 병이 있을 확률, 검사 뒤에 병이 있을 확률 | 사전 확률·검사 전 확률(pre-test probability), 사후 확률·검사 뒤 확률(post-test probability) |
| ROC 곡선 | 수신자 조작 특성 곡선(receiver operating characteristic curve) |
| 곡선 아래 넓이 | AUC(area under the curve), AUROC. 위험 점수에서는 c 통계량(c-statistic, concordance) |
| 환자가 이길 확률 | 일치 확률(concordance probability). 맨-휘트니 U ÷ (n₁ × n₂) |
| 민감도 + 특이도 − 1 | 유덴 지수(Youden's J, Youden index) |
| 표준편차가 같은 두 정규분포 모형 | 이정규 모형(binormal model) |
| 한 사람당 평균 손해 | 기대 손실, 기대 비용(expected cost, expected loss) |
| 많은 사람 가운데 골라내는 첫 검사, 정하기 전의 검사 | 선별 검사(screening test), 확진 검사(confirmatory test) |
| (재현율, 정밀도) 곡선 | 정밀도-재현율 곡선(precision-recall curve, PR curve) |
| 연속 수치를 둘로 자르기 | 이분화(dichotomization) |
| 누구를 모아 쟀는지에 따른 치우침 | 스펙트럼 편향(spectrum bias). 환자군·대조군을 따로 모은 설계는 사례-대조 설계(case-control design) |
출처
- James A. Hanley, Barbara J. McNeil (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143(1). AUC 가 「아무렇게나 고른 환자가 건강한 사람보다 높게 매겨질 확률」이고 윌콕슨(맨-휘트니) 통계량과 같다는 것.
- W. J. Youden (1950). Index for rating diagnostic tests. Cancer 3(1). 유덴 지수.
- Tom Fawcett (2006). An introduction to ROC analysis. Pattern Recognition Letters 27(8). 점수를 정렬해 ROC 곡선을 그리는 절차, 동점의 처리, 유병률과 상관없다는 성질.
- H. B. Mann, D. R. Whitney (1947). On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other. The Annals of Mathematical Statistics 18(1). 맨-휘트니 U.
- Mark R. Junge, Joseph R. Dettori (2018). ROC Solid: Receiver Operator Characteristic (ROC) Curves as a Foundation for Better Diagnostic Tests. Global Spine Journal 8(4). ROC 라는 이름의 유래(레이더).
- Takaya Saito, Marc Rehmsmeier (2015). The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLOS ONE 10(3). 양성이 드물 때의 정밀도-재현율 곡선.
- Douglas G. Altman, Patrick Royston (2006). The cost of dichotomising continuous variables. BMJ 332. 연속 수치를 둘로 자를 때 잃는 것.
- Jeroen G. Lijmer 등 (1999). Empirical Evidence of Design-Related Bias in Studies of Diagnostic Tests. JAMA 282(11). 검사 연구의 설계에 따른 치우침.
- scikit-learn 문서: roc_curve(점수가 임계값 이상이면 양성), roc_auc_score.