비모수 검정: 순위로 비교하기
입원 기간은 대부분 며칠이지만 몇 사람은 몇 주씩 걸립니다. 이렇게 한쪽으로 꼬리가 긴 자료에서는 평균이 몇 사람에게 끌려가, 평균을 비교하는 t 검정이 흔들립니다. 값 대신 「몇 번째로 큰가」만 써서 두 집단을 비교하는 방법을, 점을 옮겨 보며 익힙니다.
한 줄 답. 비모수 검정은 자료가 종 모양(정규분포)이라는 가정 없이 쓰는 검정입니다. 값 대신 「몇 번째로 큰가」(순위)를 씁니다. 그래서 이상치(outlier)나 심하게 치우친 자료에 덜 흔들립니다. t 검정 자리에는 맨-휘트니(윌콕슨 순위합), 대응 t 검정 자리에는 윌콕슨 부호순위, 분산분석 자리에는 크러스컬-월리스를 씁니다.
위 줄 A, 아래 줄 B 는 두 집단의 입원 기간입니다(지어낸 자료, 여덟 명씩). 점을 좌우로 끌거나, 점을 고르고 값을 고쳐 보세요. 「순위로 바꾸기」를 누르면 두 집단을 합쳐 작은 것부터 1, 2, 3… 순위를 매기고, 점들이 고른 간격의 순위 자리로 옮겨 갑니다. 같은 값(동점)은 순위의 평균을 함께 받아 같은 자리에 섭니다. 같은 집단 안의 같은 값은 위로 쌓습니다. 점선은 집단의 평균(순위로 바꾼 뒤에는 평균 순위)입니다. 한 집단에 점은 2~10개까지 둘 수 있고, 값은 0~40일입니다. 이 쪽은 통계 개념을 설명할 뿐, 어떤 치료나 관리의 효과도 말하지 않습니다.
1. 비모수 검정이란: 값 대신 순위
t 검정과 분산분석은 평균을 비교합니다. 그리고 p값을 셀 때 자료가(정확히는 표본 평균이) 종 모양으로 퍼진다고 가정합니다. 종 모양은 평균과 표준편차 두 숫자로 다 정해지는데, 이렇게 분포를 정하는 숫자를 모수라고 합니다. 그래서 이런 검정을 모수 검정이라고 부릅니다.
표본이 크면 이 가정은 크게 문제가 되지 않습니다. 평균은 자료의 모양과 상관없이 종 모양에 가까워지기 때문입니다(정규분포 쪽의 중심극한정리). 그런데 표본이 작고, 자료가 한쪽으로 크게 치우쳤거나 이상치가 있으면 가정이 맞지 않을 수 있습니다.
비모수 검정은 분포의 모양을 정하는 숫자를 가정하지 않습니다. 가장 흔한 방법은 값을 순위로 바꾸는 것입니다. 두 집단을 합쳐 작은 것부터 1, 2, 3… 순위를 매기고, 그 순위만으로 비교합니다. 원래 값이 무엇이었든 순위는 늘 1부터 N 까지입니다. 그래서 두 집단이 같은 분포라면 순위가 어떻게 나뉠지를 자료의 모양과 상관없이 미리 셀 수 있고, p값을 거기서 셉니다.
같은 값이 둘 이상이면(동점) 그 값들이 차지할 순위들의 평균을 함께 줍니다. 3번째와 4번째 자리에 같은 값 둘이 있으면 둘 다 3.5 입니다. 그래서 순위를 모두 더하면 동점이 있어도 1 + 2 + … + N = N(N + 1) ÷ 2 그대로입니다.
「가정이 하나도 없다」는 뜻은 아닙니다. 값들은 서로 독립이어야 하고(한 사람을 두 번 넣지 않는다), 결과를 「중앙값이 다르다」로 읽으려면 두 분포의 모양에 대한 가정이 또 필요합니다(7절).
2. 무엇 대신 무엇: 모수 검정과 비모수 검정의 짝
| 비교하는 것 | 모수 검정 | 비모수 검정 | 순위로 하는 일 |
|---|---|---|---|
| 서로 다른 사람의 두 집단 | 두 표본 t 검정 | 맨-휘트니 U 검정(= 윌콕슨 순위합 검정) | 두 집단을 합쳐 순위를 매기고 한 집단의 순위합을 본다 |
| 같은 사람의 전후 | 대응 t 검정 | 윌콕슨 부호순위 검정 | 차이의 크기에 순위를 매기고 부호별로 더한다 |
| 서로 다른 사람의 셋 이상 집단 | 일원 분산분석 | 크러스컬-월리스 검정 | 집단마다의 평균 순위가 전체의 가운데에서 얼마나 벗어났나 |
| 같은 사람을 셋 이상 조건에서 | 반복 측정 분산분석 | 프리드먼 검정 | 사람마다 그 사람 안에서 순위를 매긴다(반복 측정) |
| 두 값이 함께 움직이나 | 피어슨 상관계수 | 스피어만 순위 상관 | 두 값을 각각 순위로 바꾸고 상관을 본다(상관과 회귀) |
맨-휘트니 검정과 윌콕슨 순위합 검정은 같은 검정입니다. 윌콕슨(1945)은 크기가 같은 두 집단을 순위합으로, 맨과 휘트니(1947)는 크기가 달라도 되게 U 로 정리했습니다. 두 통계량은 n₁(n₁ + 1) ÷ 2 만큼 차이 날 뿐이라 p 가 같습니다. 그래서 「윌콕슨-맨-휘트니 검정」이라고도 부릅니다.
3. 맨-휘트니 U 검정: 절차와 손 계산
- 두 집단을 합쳐 작은 것부터 순위를 매깁니다. 동점은 평균 순위.
- A 집단의 순위를 모두 더합니다. 이것이 순위합 R₁ 입니다.
U = R₁ − n₁(n₁ + 1) ÷ 2. n₁ 은 A 의 개수입니다. 이 U 는 「A 의 값 하나와 B 의 값 하나를 짝지은 모든 쌍 가운데 A 쪽이 큰 쌍의 수(같으면 반)」와 같습니다. 왜 그런지, 왜 빼는지는 바로 다음 「식이 만들어지는 과정」에서 봅니다.- 두 집단이 같은 분포라면 U 는
n₁n₂ ÷ 2근처에 옵니다. 관측한 U 가 거기서 얼마나 멀리 있는지를 「두 집단이 같을 때의 U 의 분포」에 비교해 p 를 셉니다(5절).
손으로 풀어 보기
네 명씩입니다. A 집단의 입원 기간이 3, 5, 6, 10일, B 집단이 6, 8, 13, 21일입니다(지어낸 자료). 아래 「식이 만들어지는 과정」의 그림이 이 자료입니다.
| 값(일) | 3 | 5 | 6 | 6 | 8 | 10 | 13 | 21 |
|---|---|---|---|---|---|---|---|---|
| 집단 | A | A | A | B | B | A | B | B |
| 순위 | 1 | 2 | 3.5 | 3.5 | 5 | 6 | 7 | 8 |
- 합쳐서 줄 세우면 3, 5, 6, 6, 8, 10, 13, 21. 6 이 둘이라 3번째와 4번째 자리의 평균 3.5 를 둘 다 받습니다.
- 순위합: A 는
1 + 2 + 3.5 + 6 = 12.5, B 는3.5 + 5 + 7 + 8 = 23.5. 더하면36 = 8 × 9 ÷ 2로 맞습니다. U = 12.5 − 4 × 5 ÷ 2 = 12.5 − 10 = 2.5. B 쪽에서 세면23.5 − 10 = 13.5. 둘을 더하면2.5 + 13.5 = 16 = 4 × 4, 쌍의 수입니다.- 쌍으로 세어 확인: A 의 10 은 B 의 6, 8 보다 커서 2, A 의 6 은 B 의 6 과 같아서 0.5, A 의 3 과 5 는 0. 모두 2.5 로 같습니다.
- 가운데는
4 × 4 ÷ 2 = 8. U = 2.5 는 거기서 5.5 떨어져 있습니다. 순위 8개를 A 에 넷, B 에 넷 나누는 방법 70가지 가운데 이만큼 이상 떨어진 것은 10가지라 p = 10 ÷ 70 ≈ 0.143 입니다. - 얼마나 다른가:
U ÷ 16 = 2.5 ÷ 16 ≈ 0.16. A 에서 한 명, B 에서 한 명을 뽑으면 A 쪽이 더 오래 입원했을 확률(같으면 반)이 약 16% 라는 뜻입니다.
같은 자료로 웰치 t 검정을 하면 평균 6일과 12일, p = 0.174 입니다. 네 명씩으로는 어느 검정으로도 차이를 말하기 어렵습니다.
해 볼 것. (맨 위의 실험) ① 처음 자료는 순위합 A 46.5, B 89.5, U = 46.5 − 8 × 9 ÷ 2 = 10.5 입니다. 64쌍 가운데 10.5 라 0.16. 순위 검정의 p 는 0.022, 같은 자료의 t 검정은 0.093 입니다. ② 「순위로 바꾸기」를 누르면 A 의 4 둘은 3.5, 두 집단에 다 있는 5 는 5.5, 6 은 7.5, 13 은 13.5 를 함께 받습니다. B 의 38 은 18 바로 다음 16번째 자리로 옵니다. 평균 순위는 A 5.81, B 11.19 입니다. ③ 「값으로 되돌리기」를 누르고 B 의 38 을 15 로 끌어 보세요. U 와 순위 검정의 p 는 10.5, 0.022 그대로이고, t 검정의 p 만 0.093 에서 0.037 로 바뀝니다. ④ 처음 자료에서 A 의 13 을 40 으로 끌면 t 검정의 p 는 0.483 으로 크게 뛰고, 순위 검정의 p 는 0.046 으로 조금 움직입니다. ⑤ 처음 자료에서 「A 에 점 더하기」를 누르면 7 이 더해져 아홉과 여덟이 되고, 배치는 24,310가지, p 는 0.025 입니다.
식이 만들어지는 과정: U = R₁ − n₁(n₁ + 1) ÷ 2
U 의 식이 어디서 나오는지, 손 계산의 네 명씩 자료로 한 단계씩 봅니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다.
격자의 줄은 A 의 값, 칸은 B 의 값입니다. 칸 하나가 쌍 하나이고, A 쪽이 크면 칠하고 같으면 반만 칠합니다. 식의 #(A > B) 는 「A 쪽이 큰 쌍의 수」, E₀ 와 P₀ 는 「두 집단이 같다고 할 때」의 평균과 확률, 작은 u 는 관측한 값입니다. 오른쪽의 보라 숫자는 A 안에서의 자리(자기 집단 몫), 초록 숫자는 그 줄에서 칠한 칸 수입니다. 아래쪽 막대에서 주황은 관측한 U 만큼 이상 치우친 배치입니다.
왜 늘 맞나. A 의 값들을 작은 것부터 세운다고 합시다. i 번째 값의 순위는 그보다 앞에 선 값의 수에 1 을 더한 것이고, 앞에 선 값은 「A 안에서 앞의 i − 1 개」와 「그보다 작은 B 의 값들」입니다. 같은 B 가 있으면 그 자리들의 평균을 받으므로 같은 B 의 수의 반이 더해집니다. 그래서 순위 = i + (그보다 작은 B 의 수) + ½ × (같은 B 의 수) 이고, 뒤의 두 항이 바로 그 줄에서 칠한 칸입니다. 줄마다 더하면 R₁ = (1 + 2 + … + n₁) + U = n₁(n₁ + 1) ÷ 2 + U 입니다. A 끼리 같은 값이 있어도 평균 순위의 합은 i 들의 합과 같아서 식은 그대로입니다.
AUC 와 같은 수. 진단 검사에서 병이 있는 사람의 검사 값과 없는 사람의 검사 값을 두 집단으로 놓으면, U ÷ (n₁n₂) 가 ROC 곡선 아래 넓이(AUC)와 같습니다(Hanley, McNeil 1982). 그래서 AUC 를 순위로 셀 수 있습니다.
4. 이상치에 얼마나 흔들리나
평균은 모든 값을 더해 나누므로 값 하나가 멀리 가면 그만큼 끌려갑니다. 표준편차는 거리를 제곱하니 더 크게 끌려갑니다(기술통계). 순위는 다릅니다. 가장 큰 값은 아무리 더 커져도 순위가 N 에서 더 올라가지 않습니다. 아래 실험은 맨 위 실험의 처음 자료에서 B 의 가장 긴 값(38일) 하나만 0일부터 300일까지 옮기며 두 검정의 p 를 그립니다.
막대나 숫자 칸으로 옮기거나, 그림을 누르고 좌우로 끌어 보세요. 위의 주황 고리가 옮기는 점이고, 아래 그래프의 가로는 그 점의 값, 세로는 p 입니다. 주황 곡선은 t 검정(웰치), 보라 곡선은 순위 검정(맨-휘트니, 정확한 p)입니다. 나머지 점은 왼쪽 끝에 몰려 있습니다. 300일과 비교하면 나머지가 그만큼 작기 때문입니다.
해 볼 것. ① 처음 38일에서는 t 검정 0.093, 순위 검정 0.022 입니다. ② 점을 14일 이상 어디로 옮겨도 순위 검정의 p 는 0.022 그대로입니다. A 의 가장 긴 값 13일을 넘으면 이 점의 순위가 더 바뀌지 않기 때문입니다. ③ t 검정의 p 는 16일에서 가장 작은 0.036 이 되고, 그보다 멀리 갈수록 커져 300일에서 0.303 입니다. B 가 더 길어 보일수록 오히려 「차이가 있다고 말하기 어렵다」 쪽으로 갑니다. 평균의 차이보다 표준편차가 더 빨리 커지기 때문입니다. ④ 0일로 옮기면 이 점이 가장 짧은 값이 되어 순위 검정의 p 도 0.170 으로 커집니다. t 검정은 0.232 입니다.
이상치를 보면 먼저 잘못 적은 값인지 확인합니다. 진짜 값이면 지우지 않습니다. 결과가 마음에 들게 값을 빼는 것은 자료를 고치는 일입니다. 순위 검정은 그 값을 지우지 않고도 덜 흔들리게 하는 한 방법입니다.
5. p 는 어디서 나오나: 순열 검정과 정확한 분포
p값은 「두 집단이 사실 같은 분포에서 나왔다면(귀무가설), 지금만큼 또는 그보다 더 치우친 U 가 나올 확률」입니다(가설검정과 p값). 두 집단이 같다면 A·B 꼬리표는 아무 뜻이 없으니, 꼬리표를 아무렇게나 다시 붙여도 지금 자료만큼 그럴듯합니다. 그래서 U 의 분포를 직접 만들 수 있습니다.
- 값의 순위는 그대로 두고, 꼬리표만 섞어 n₁ 개를 A, 나머지를 B 로 다시 나눕니다.
- 그때의 U 를 셉니다.
- 1,000번 되풀이해 히스토그램을 그립니다. 이것이 두 집단이 같을 때의 U 의 분포(귀무 분포)입니다.
- 가운데(n₁n₂ ÷ 2)에서 관측한 U 만큼 이상 떨어진 것의 몫이 p 입니다. 양쪽 끝을 다 셉니다.
막대는 꼬리표를 1,000번 섞어 얻은 U 가 각 값으로 나온 횟수입니다. 주황 막대가 관측한 U 만큼 이상 치우친 것이고, 그 몫이 섞기로 근사한 p 입니다. 보라 점은 모든 배치를 세어 얻은 정확한 분포를 1,000번에 맞춰 그린 것이고, 파란 곡선은 정규 근사입니다. 「위 실험의 지금 자료」는 맨 위 실험에서 점을 옮기면 같이 바뀝니다. 컴퓨터의 난수는 정해진 계산으로 만든 것이라 시드(seed, 처음 값)가 같으면 늘 같은 그림이 나옵니다.
정확한 분포. 섞는 방법을 모두 셀 수 있으면 아무렇게나 뽑지 않고 다 셉니다. 16개 가운데 8개를 고르는 방법은 12,870가지, 손 예제의 8개 가운데 4개는 70가지입니다. 이렇게 얻은 p 가 정확한 p 입니다. 이 쪽은 동점이 있어도 평균 순위 그대로 모든 배치를 셉니다.
정규 근사. 크면 방법의 수가 너무 많습니다(20명씩이면 약 1,378억 가지). 그때는 U 가 종 모양에 가깝다는 것을 씁니다. 두 집단이 같다면 U 의 평균은 n₁n₂ ÷ 2, 분산은 n₁n₂(N + 1) ÷ 12 입니다. 동점이 있으면 분산을 n₁n₂ ÷ 12 × ((N + 1) − Σ(t³ − t) ÷ (N(N − 1))) 로 줄입니다(t 는 같은 값의 개수). 그리고 z = (|U − 평균| − ½) ÷ 표준편차 로 정규분포의 양쪽 꼬리를 셉니다. ½ 을 빼는 것은 띄엄띄엄한 U 를 매끈한 곡선에 맞추는 연속성 보정입니다. 표본이 작으면 정확한 분포를 씁니다. 세 명씩 1, 2, 3 과 4, 5, 6 이면 정확한 p 는 0.100 인데 정규 근사는 0.081 로 작게 나옵니다.
도구마다 정확한 계산을 쓰는 조건, 동점 보정, 연속성 보정의 기본값이 달라서 p 의 끝자리가 이 쪽과 다를 수 있습니다. 보고할 때는 어떤 방법으로 셌는지를 같이 적습니다.
해 볼 것. ① 맨 위 실험의 처음 자료, 시드 1 이면 1,000번 가운데 18번이 관측한 U(10.5)만큼 이상 치우쳐 섞기의 p 는 0.018 입니다. 정확한 p 는 0.022(12,870가지), 정규 근사는 z = −2.21, p = 0.027 입니다. ② 「다른 시드로 섞기」를 누르면 시드 2 에서 0.020, 시드 3 에서 0.021 입니다. 섞기의 p 는 근삿값이라 조금씩 흔들리고, 섞는 횟수를 늘릴수록 정확한 p 에 다가갑니다. ③ 「손 예제(4명씩)」를 누르면 70가지밖에 없어 막대가 들쭉날쭉합니다. 정확한 p 0.143, 시드 1 의 섞기 0.142, 정규 근사 0.146 입니다.
p 를 이렇게 읽으면 틀린다
- 「p = 0.022 이니 두 집단이 같을 확률이 2.2%」. 틀립니다. p 는 「같다고 가정했을 때 이만큼 치우친 결과가 나올 확률」입니다. 가정이 참일 확률이 아닙니다.
- 「p = 0.143 이니 두 집단은 같다」. 틀립니다. 네 명씩이라 차이를 가려낼 힘이 없었을 뿐일 수 있습니다. 세 명씩이면 순위 검정의 p 는 어떤 자료에서도 0.1 보다 작아질 수 없습니다(20가지 가운데 양 끝 2가지가 가장 치우친 것이라서).
- 「t 검정은 0.093, 순위 검정은 0.022 이니 순위 검정을 보고하자」. 틀립니다. 둘을 다 돌려 작은 쪽을 고르면, 차이가 없는데도 있다고 말할 확률이 정한 수준보다 커집니다. 어느 검정을 쓸지는 자료를 보기 전에 정해 둡니다.
- 「p 가 작으니 중앙값이 다르다」. 두 분포의 모양이 같을 때만 그렇게 읽습니다(7절).
6. 나머지 둘: 윌콕슨 부호순위와 크러스컬-월리스
위 단추로 두 검정을 바꿔 봅니다. 부호순위에서는 막대로 열 사람 모두의 뒤 값을 같은 만큼 옮기고(효과를 키우거나 줄이는 것), 크러스컬-월리스에서는 집단 C 의 값을 모두 같은 만큼 옮깁니다. 자료는 모두 지어낸 것입니다.
윌콕슨 부호순위 검정: 같은 사람의 전후
같은 사람을 두 번 재면(전과 후, 왼쪽과 오른쪽) 두 집단이 서로 독립이 아니라서 맨-휘트니를 쓰면 안 됩니다. 사람마다 차이(뒤 − 앞)를 하나씩 만들어 그 차이들로 비교합니다.
- 차이가 0 인 사람은 뺍니다. 남은 사람 수가 n 입니다.
- 차이의 크기(부호를 뗀 값)에 순위를 매깁니다. 동점은 평균 순위.
- 차이가 + 인 사람의 순위를 더한 것이 W₊, − 인 사람의 것이 W₋ 입니다.
W₊ + W₋ = n(n + 1) ÷ 2. - 효과가 없다면 부호는 동전 던지기와 같아서 W₊ 는
n(n + 1) ÷ 4근처에 옵니다. 거기서 얼마나 떨어졌나로 p 를 셉니다. 정확한 p 는 부호를 붙이는 2ⁿ 가지를 모두 세어 얻습니다.
위 실험의 처음 자료는 열 사람의 수축기 혈압(지어낸 자료)입니다. 차이는 −12, −8, −15, +3, −5, −20, +5, −9, 0, −11 입니다. 0 인 한 사람을 빼면 n = 9. 크기 3 이 순위 1, 5 와 5 는 2번째와 3번째 자리의 평균 2.5, 8 이 4, 9 가 5, 11 이 6, 12 가 7, 15 가 8, 20 이 9 입니다. 늘어난 사람(+3, +5)의 순위를 더하면 W₊ = 1 + 2.5 = 3.5, 나머지는 W₋ = 45 − 3.5 = 41.5. 효과가 없다면 둘 다 9 × 10 ÷ 4 = 22.5 근처입니다.
부호만 세는 부호 검정과 달리, 크게 바뀐 사람에게 큰 순위를 주어 크기도 씁니다. 대응 t 검정처럼 차이 하나하나를 쓰지만, 큰 차이 하나가 결과를 끌고 가지 못하게 순위로 바꿉니다. 엄밀히는 「차이들이 0 을 가운데로 좌우 대칭으로 퍼져 있다」를 귀무가설로 둡니다.
크러스컬-월리스 검정: 셋 이상 집단
- 모든 집단을 합쳐 순위를 매깁니다.
- 집단마다 평균 순위를 냅니다. 집단들이 같다면 모두 전체 순위의 가운데
(N + 1) ÷ 2근처에 옵니다. H = 12 ÷ (N(N + 1)) × Σ nᵢ × (평균 순위ᵢ − (N + 1) ÷ 2)². 가운데에서 벗어난 거리를 제곱하고, 집단 크기 nᵢ 만큼 무게를 주어 더합니다. 동점이 있으면1 − Σ(t³ − t) ÷ (N³ − N)로 나눕니다.- 집단이 k 개면 H 를 자유도 k − 1 인 카이제곱 분포에 비교해 p 를 셉니다(카이제곱 검정). 집단마다 다섯 개쯤으로 작으면 이 근사가 거칠어서 정확한 표나 순열 검정을 쓰기도 합니다.
위 실험의 처음 자료는 세 배양 조건의 세포 수(천 개, 지어낸 자료) 다섯 개씩입니다. 열다섯 개를 합쳐 순위를 매기면 평균 순위가 A 4.4, B 8, C 11.6 이고 가운데는 16 ÷ 2 = 8 입니다. H = 12 ÷ (15 × 16) × 5 × ((4.4 − 8)² + (8 − 8)² + (11.6 − 8)²) = 0.05 × 5 × 25.92 = 6.48, 자유도 2 에서 p = 0.039 입니다.
H 가 크다는 것은 「적어도 한 집단은 순위가 치우쳤다」는 뜻일 뿐, 어느 집단인지는 알려 주지 않습니다. 그것을 알려면 짝마다 맨-휘트니를 하고 다중 비교 보정을 합니다. 크러스컬-월리스 뒤에 쓰라고 만든 던 검정 같은 방법도 있습니다.
해 볼 것. ① 부호순위의 처음 모습은 W₊ 3.5, W₋ 41.5, 정확한 p 0.023(부호 배치 512가지), 정규 근사 p 0.028 입니다. ② 막대를 +9 로 옮기면 늘어난 사람과 줄어든 사람이 섞여 W₊ 28, W₋ 17, p 0.570 이 됩니다. ③ −5 로 옮기면 모두 줄어들어 W₊ 가 0, 정확한 p 는 2 ÷ 512 ≈ 0.004 입니다. ④ 크러스컬-월리스로 바꾸면 처음 모습은 H 6.48, p 0.039 입니다. 집단 C 를 −25 로 옮기면 세 집단이 섞여 H 2.41, p 0.300, +40 으로 옮기면 C 가 순위 11 ~ 15 를 모두 차지해 H 10.5, p 0.005 입니다.
7. 언제 쓰나, 무엇을 치르나
언제 쓰나
- 표본이 작고 종 모양이 아닐 때. 입원 기간, 세포 수, 효소 농도처럼 0 아래로는 못 가고 위로 길게 늘어지는 값입니다. 표본이 크면 t 검정도 대개 괜찮습니다.
- 순서만 뜻이 있는 자료(순서형 자료). 통증 점수 0 ~ 10, 「매우 나쁨 ~ 매우 좋음」 같은 다섯 단계 답입니다. 3점과 4점의 간격이 7점과 8점의 간격과 같다고 말하기 어려우니, 평균보다 순위가 맞습니다. 동점이 많이 생기므로 동점 보정이 들어간 방법을 씁니다.
- 이상치가 있을 때. 잘못 적은 값이 아니라 진짜 값이라면 지우지 않고 순위로 덜 흔들리게 합니다(4절).
치르는 값
| 무엇을 잃나 | 쉬운 말 |
|---|---|
| 종 모양일 때는 검정력이 조금 낮다 | 자료가 정말 종 모양이면 t 검정이 차이를 조금 더 잘 잡아냅니다. 표본이 클 때 맨-휘트니로 같은 검정력을 얻으려면 표본이 약 5% 더 필요합니다(효율 3 ÷ π ≈ 0.955). 거꾸로 꼬리가 긴 분포에서는 맨-휘트니가 더 나을 수 있고, 자리만 옮겨진 두 연속 분포라면 효율이 0.864 아래로 떨어지지 않습니다(Hodges, Lehmann 1956) |
| 「평균의 차이」가 아니라 「한쪽이 더 큰 경향」을 본다 | 결과를 「평균이 며칠 짧다」로 적을 수 없습니다. 이길 확률이나 중앙값의 차이로 적습니다(8절) |
| 두 분포의 모양이 다르면 풀이가 달라진다 | 모양은 같고 자리만 옮겨진 경우에만 「중앙값(자리)이 다르다」로 읽습니다. 분산이나 치우친 정도가 다르면 「한쪽에서 뽑은 값이 더 클 확률이 ½ 이 아니다」로만 읽고, 분산만 달라도 p 가 작게 나올 수 있습니다(Fay, Proschan 2010) |
| 아주 작은 표본에서는 p 가 내려가지 않는다 | 세 명씩이면 가장 작은 p 가 0.1, 네 명씩이면 0.029 입니다. 「작으니 비모수」가 늘 답은 아닙니다 |
| 값의 크기를 버린다 | 1등과 2등이 하루 차이든 100일 차이든 같습니다. 크기 자체가 중요하면 순열 검정이나 부트스트랩으로 평균·중앙값을 직접 다룹니다(8절) |
8. 효과를 적는 법
p 는 「차이가 있다고 말할 만한가」에만 답합니다. 얼마나 다른지는 따로 적습니다.
- 이길 확률.
U ÷ (n₁n₂). A 에서 하나, B 에서 하나를 뽑았을 때 A 쪽이 클 확률(같으면 반)입니다. 0.5 면 차이가 없습니다. 맨 위 실험의 처음 자료는10.5 ÷ 64 ≈ 0.16, B 쪽에서 읽으면 0.84 입니다. 진단 검사의 AUC 가 바로 이 수입니다. - 중앙값과 그 차이. 집단마다 중앙값(처음 자료는 4.5일, 9.5일)을 적습니다. 차이 하나를 적을 때는 두 중앙값의 차이(5일)를 적거나, 모든 쌍의 차이(B − A) 64개의 중앙값(호지스-레만 추정량, 이 자료에서도 5일)을 적습니다. 뒤의 것은 「두 중앙값의 차이」와 다른 값이고, 맨-휘트니와 짝을 이루어 구간까지 만들 수 있습니다. R 의
wilcox.test(b, a, conf.int = TRUE)가 이 추정량과 구간을 내줍니다. - 구간. 효과의 크기에는 신뢰구간을 같이 적습니다. 「차이는 5일, 구간은 ○일 ~ ○일」처럼 적으면 차이가 얼마나 확실한지가 보입니다.
순위 대신: 순열 검정과 부트스트랩
순위로 바꾸지 않고 원래 값 그대로 같은 생각을 쓸 수도 있습니다. 순열 검정(permutation test)은 5절처럼 꼬리표를 섞되, U 대신 「평균의 차이」나 「중앙값의 차이」를 셉니다. 종 모양을 가정하지 않으면서 값의 크기를 그대로 씁니다. 다만 평균의 차이를 세면 이상치에는 여전히 흔들립니다. 부트스트랩은 가진 자료에서 같은 수만큼 「뽑고 되돌려 놓기」를 수천 번 해서, 중앙값의 차이 같은 값이 얼마나 흔들리는지 보고 그 가운데 95% 가 들어가는 범위를 구간으로 씁니다.
9. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 순위는 순서만 본다 | 값에 로그를 씌우는 것처럼 순서가 그대로인 바꾸기를 해도 순위와 p 는 같습니다. 단위를 일에서 시간으로 바꿔도 같습니다 |
U₁ + U₂ = n₁n₂ | 두 집단 쪽에서 센 U 를 더하면 쌍의 수입니다. 도구마다 둘 가운데 어느 것(첫 집단의 것, 작은 것)을 U 로 내놓는지 다르니 확인합니다 |
R₁ + R₂ = N(N + 1) ÷ 2 | 순위합의 합은 정해져 있어서 하나를 알면 다른 하나도 압니다 |
| 이상치의 힘에 끝이 있다 | 가장 큰 값은 더 커져도 순위가 N 입니다 |
U ÷ (n₁n₂) = 이길 확률 = AUC | 0.5 면 차이 없음, 0 이나 1 이면 두 집단이 완전히 갈라졌다는 뜻입니다 |
어디에 쓰나
- 작은 실험의 치우친 측정값. 동물 실험이나 세포 실험처럼 집단마다 몇 개뿐이고 값이 한쪽으로 치우친 자료를 비교할 때.
- 순서형 점수. 통증 점수, 만족도 다섯 단계, 증상의 심한 정도처럼 순서만 뜻이 있는 답.
- 진단 검사와 분류 모델의 AUC. AUC 는 맨-휘트니 U 를 쌍의 수로 나눈 것과 같아서, 순위를 매기는 것만으로 셉니다(진단 검사와 ROC).
- 꼬리가 긴 지표의 비교하기. 웹 응답 시간처럼 대부분 짧고 가끔 아주 긴 값을 두 버전 사이에서 비교할 때. 평균이 몇 개의 느린 요청에 끌려가는 것을 피합니다.
# 파이썬(SciPy)
from scipy.stats import mannwhitneyu, wilcoxon, kruskal
mannwhitneyu(a, b) # 맨-휘트니 U. 정확한 계산과 정규 근사는 method 로 고른다
wilcoxon(after, before) # 윌콕슨 부호순위(같은 사람의 전후)
kruskal(g1, g2, g3) # 크러스컬-월리스 H
# R
wilcox.test(a, b) # 두 집단: 맨-휘트니와 같은 검정
wilcox.test(after, before, paired = TRUE)
kruskal.test(list(g1, g2, g3))
자주 묻는 것
비모수 검정은 아무 가정도 없나요?
아닙니다. 값들이 서로 독립이어야 하고, 맨-휘트니 검정이라면 두 집단이 서로 다른 사람이어야 합니다. 결과를 「중앙값이 다르다」로 읽으려면 두 분포의 모양이 같다는 가정도 필요합니다. 가정하지 않는 것은 「종 모양」이라는 분포의 꼴입니다.
표본이 작으면 무조건 비모수 검정을 써야 하나요?
아닙니다. 아주 작으면 순위 검정의 p 는 어느 값 아래로 내려가지 못합니다. 세 명씩이면 어떤 자료든 p 는 0.1 이상입니다. 자료가 종 모양에 가깝다고 볼 근거가 있으면 t 검정이 차이를 조금 더 잘 잡아냅니다.
맨-휘트니 검정은 중앙값을 비교하나요?
두 분포의 모양이 같고 자리만 옮겨졌을 때만 그렇게 읽습니다. 일반적으로는 「한 집단에서 뽑은 값이 다른 집단에서 뽑은 값보다 클 확률이 ½ 인가」를 봅니다. 중앙값이 같아도 분산이 다르면 p 가 작게 나올 수 있습니다.
t 검정과 비모수 검정을 둘 다 돌려 보고 고르면 안 되나요?
안 됩니다. 결과를 보고 p 가 작은 쪽을 고르면, 차이가 없는데도 있다고 말할 확률(1종 오류)이 처음 정한 수준보다 커집니다. 어느 검정을 쓸지는 자료를 보기 전에, 자료의 성격(순서만 뜻이 있는 점수인가, 크게 치우칠 만한 값인가)으로 정해 둡니다.
동점이 많으면 어떻게 하나요?
같은 값끼리 순위의 평균을 함께 주고, 동점만큼 줄어든 분산으로 p 를 셉니다. 통증 점수처럼 동점이 아주 많으면 정규 근사보다 정확한 분포나 순열 검정이 낫습니다. 동점이 많다는 것은 가려낼 정보가 줄었다는 뜻이라 검정력도 낮아집니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 종 모양을 가정하지 않는 검정 | 비모수 검정(nonparametric test), 분포에 매이지 않는 검정(distribution-free test) |
| 분포를 정하는 숫자 / 그것을 가정하는 검정 | 모수(parameter) / 모수 검정(parametric test) |
| 몇 번째로 큰가 | 순위(rank) |
| 같은 값 / 그 값들이 함께 받는 순위 | 동점(tie) / 평균 순위(midrank, average rank) |
| 한 집단의 순위를 더한 것 | 순위합(rank sum) |
| A 쪽이 큰 쌍의 수 | 맨-휘트니 U 통계량(Mann-Whitney U statistic) |
| 두 집단을 순위로 비교하는 검정 | 맨-휘트니 U 검정, 윌콕슨 순위합 검정(Wilcoxon rank-sum test), 윌콕슨-맨-휘트니 검정 |
| 같은 사람의 전후를 순위로 비교하는 검정 | 윌콕슨 부호순위 검정(Wilcoxon signed-rank test) |
| 셋 이상 집단을 순위로 비교하는 검정 | 크러스컬-월리스 검정(Kruskal-Wallis test), H 통계량 |
| 두 집단이 같다는 가정 / 그때의 통계량 분포 | 귀무가설(null hypothesis) / 귀무 분포(null distribution) |
| 꼬리표 섞기 | 순열 검정(permutation test), 무작위화 검정(randomization test) |
| 모든 배치를 센 p / 종 모양으로 어림한 p | 정확 검정(exact test) / 정규 근사(normal approximation) |
| ½ 을 빼는 것 | 연속성 보정(continuity correction) |
| 한쪽에서 뽑은 값이 더 클 확률 | 우월 확률(probability of superiority), 공통 언어 효과 크기(common-language effect size), AUC |
| 모든 쌍의 차이의 중앙값 | 호지스-레만 추정량(Hodges-Lehmann estimator) |
| 한쪽이 더 큰 경향 | 확률적으로 더 크다(stochastically larger) |
| 순서만 뜻이 있는 자료 | 순서형 자료(ordinal data) |
| 같은 사람의 두 값 / 서로 다른 사람 | 대응 표본(paired samples) / 독립 표본(independent samples) |
| 차이를 잡아낼 힘 / 표본이 클 때 두 검정의 효율 비 | 검정력(power) / 점근 상대 효율(asymptotic relative efficiency) |
| 뽑고 되돌려 놓기를 되풀이해 흔들림을 보는 방법 | 부트스트랩(bootstrap) |
| 분산이 달라도 되는 t 검정 | 웰치 t 검정(Welch's t-test) |
출처
- Wilcoxon. Individual Comparisons by Ranking Methods. Biometrics Bulletin 1(6), 1945. 순위합 검정과 부호순위 검정.
- Mann, Whitney. On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other. Annals of Mathematical Statistics 18(1), 1947. U 통계량.
- Kruskal, Wallis. Use of Ranks in One-Criterion Variance Analysis. Journal of the American Statistical Association 47(260), 1952.
- Hodges, Lehmann. The Efficiency of Some Nonparametric Competitors of the t-Test. Annals of Mathematical Statistics 27(2), 1956. 효율 3/π 와 0.864.
- Hanley, McNeil. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143(1), 1982. AUC 와 U.
- Fay, Proschan. Wilcoxon-Mann-Whitney or t-test? On assumptions for hypothesis tests and multiple interpretations of decision rules. Statistics Surveys 4, 2010.
- SciPy 문서: mannwhitneyu, wilcoxon, kruskal. R 문서: wilcox.test, kruskal.test.
- t 분포와 카이제곱 분포의 넓이는 불완전 베타·감마 함수로 직접 셉니다. 정의는 NIST DLMF §8.17(불완전 베타), §8.2(불완전 감마).