가설검정과 p값

새 약을 먹은 집단의 혈압이 가짜 약 집단보다 4 mmHg 더 내려갔습니다. 약 덕분일까요, 사람마다 다른 우연일까요? 꼬리표를 직접 섞어 보며 p값이 무엇을 재고 무엇을 재지 않는지 봅니다.

한 줄 답. 가설검정은 「차이가 없다」(귀무가설)고 가정해 놓고, 그 가정 아래에서 지금 본 자료만큼 치우친 결과가 얼마나 드물게 나오는지를 따지는 방법입니다. 그 드문 정도가 p값입니다. p값은 「귀무가설이 참일 확률」이 아닙니다. 「귀무가설이 참이라면 이만큼 치우친 자료가 나올 확률」입니다.

지어낸 자료: 4주 뒤 수축기 혈압이 내려간 양(mmHg). 가짜 약 25명, 새 약 25명.

위 그림의 점 하나가 한 사람입니다. 초록은 처음에 가짜 약, 파랑은 처음에 새 약을 받은 사람입니다. 「한 번 섞기」는 50명의 값은 그대로 두고 「가짜 약」·「새 약」 꼬리표만 무작위로 25개씩 다시 나눕니다. 그래서 섞은 뒤에는 한 줄에 두 색이 섞입니다. 섞을 때마다 두 줄의 평균 차이(새 약 꼬리표 − 가짜 약 꼬리표)를 아래 히스토그램에 하나씩 쌓습니다. 주황 세로선이 실제로 본 차이 4 이고, 주황으로 칠한 부분이 그만큼 또는 더 치우친 차이입니다. 섞는 차례는 고정 시드(seed) 난수기로 정해 쪽을 열 때마다 같습니다. 자료와 약은 모두 지어낸 것이고, 이 쪽은 통계 개념만 설명합니다.

1. 가설검정이란: 「차이가 없다」고 놓고 따져 보기

새 약을 시험했습니다. 50명을 무작위로 두 집단으로 나눠, 25명은 새 약을, 25명은 생김새가 같지만 약 성분이 없는 가짜 약을 먹었습니다. 4주 뒤 혈압이 내려간 양의 평균은 새 약 6 mmHg, 가짜 약 2 mmHg 입니다. 차이는 4 mmHg 입니다.

그런데 약이 아무 일도 하지 않았어도 두 집단의 평균은 조금 다르게 나옵니다. 사람마다 혈압이 다르게 움직이고, 누가 어느 집단에 들어갔는지가 우연이기 때문입니다. 그래서 물음은 「차이가 있나」가 아니라 「이만한 차이가 우연만으로도 쉽게 나오나」입니다.

가설검정은 이 물음을 거꾸로 풉니다. 먼저 「약에 효과가 없다」고 가정합니다. 이것이 귀무가설(H₀)입니다. 「효과가 있다」는 쪽은 대립가설(H₁)입니다. 그 다음, 귀무가설이 참이라면 4 mmHg 만큼 치우친 차이가 얼마나 자주 나오는지 셉니다. 아주 드물게만 나온다면 「효과가 없다」는 가정과 자료가 잘 맞지 않는다고 보고 귀무가설을 버립니다. 이것을 귀무가설을 기각한다고 말합니다.

재판에 비교하면 쉽습니다. 피고는 무죄라고 놓고 시작합니다(귀무가설). 증거가 「무죄라면 이런 증거가 나오기 어렵다」고 할 만큼 강하면 유죄로 판단합니다(기각). 증거가 모자라면 무죄 판결이 나지만, 그것이 결백을 증명한 것은 아닙니다. 가설검정에서도 귀무가설을 기각하지 못했다는 것은 「효과가 없음이 증명됐다」가 아니라 「효과가 있다고 말할 증거가 모자라다」입니다.

말뜻이 쪽의 예
귀무가설 H₀따져 보려고 일부러 세우는 「차이·효과가 없다」새 약과 가짜 약의 평균 차이 = 0
대립가설 H₁귀무가설이 아니면 맞다고 볼 것평균 차이 ≠ 0 (양측), 또는 평균 차이 > 0 (단측)
검정 통계량자료를 숫자 하나로 줄인 것. 귀무가설에서 얼마나 벗어났나를 잰다평균 차이 4, 또는 그것을 표준오차로 나눈 z = 2.5
p값귀무가설이 참일 때 검정 통계량이 지금만큼 또는 더 치우치게 나올 확률약 0.012 ~ 0.018 (구하는 방법에 따라 조금 다르다)
유의수준 α자료를 보기 전에 정해 두는 문턱. p값이 이보다 작으면 기각한다0.05
기각귀무가설을 버린다. 「통계적으로 유의하다」고 말한다p < 0.05 → 「효과가 없다」를 버린다

2. 우연만으로 생기는 차이: 순열 검정

귀무가설이 참이라면, 곧 약이 누구에게도 아무 일을 하지 않았다면, 사람마다의 값(혈압이 내려간 양)은 어느 약을 받았든 똑같이 나왔을 것입니다. 「새 약」, 「가짜 약」 꼬리표는 값과 상관없는 이름표일 뿐입니다. 그렇다면 꼬리표를 무작위로 다시 붙인 자료도 똑같이 나올 수 있었던 자료입니다.

맨 위 실험이 이것을 합니다. 50명의 값은 그대로 두고 꼬리표만 섞어 25명씩 다시 나눈 뒤 두 집단의 평균 차이를 잽니다. 이것을 여러 번 하면 「약에 효과가 없을 때 우연만으로 나오는 차이들」의 분포가 생깁니다. 이것이 귀무 분포입니다. 차이들은 0 둘레에 모이고 양쪽으로 갈수록 드물어집니다.

이제 실제로 본 차이 4 를 이 분포 위에 놓습니다. 섞어서 나온 차이 가운데 4 만큼 또는 더 치우친 것의 비율이 p값입니다. 이렇게 꼬리표를 섞어 p값을 구하는 방법을 순열 검정이라고 부릅니다. 정규분포 같은 가정이 거의 필요 없고, 생각이 그대로 보입니다. 꼬리표를 바꿔 붙여도 된다는 근거는 처음에 사람을 무작위로 나눴다는 데 있습니다(무작위 배정과 대조군).

해 볼 것. ① 처음 화면에서 「한 번 섞기」를 누르면 두 줄에 초록과 파랑이 섞이고, 섞은 꼬리표의 차이는 0.24 입니다. 실제 차이 4 보다 훨씬 작습니다. ② 이어서 「100번」을 누르면 101번 가운데 크기 4 이상인 차이가 1번 나와 p ≈ 0.0099 입니다. ③ 「처음부터」를 누르고 「1,000번」을 누르면 18번, p ≈ 18 ÷ 1,000 = 0.018 입니다. 히스토그램은 0 을 가운데로 한 종 모양이고, 4 바깥에는 양쪽 끝의 작은 주황 막대만 있습니다. ④ 그대로 「단측」을 고르면 4 이상인 쪽만 세어 9번, p = 0.009 로 절반쯤이 됩니다. ⑤ 「양측」으로 돌아와 「1,000번」을 아홉 번 더 눌러 10,000번을 채우면 181번, p ≈ 0.0181 입니다. 섞는 횟수가 적으면 p 도 흔들리고(② 의 0.0099), 많을수록 한 값에 다가갑니다.

3. 절차 다섯 단계

  1. 가설을 세운다. 귀무가설 「두 집단의 평균 차이 = 0」, 대립가설 「평균 차이 ≠ 0」. 한쪽만 볼지 양쪽을 볼지도 이때 정합니다(5절).
  2. 유의수준 α 를 정한다. 흔히 0.05 입니다. 자료를 보기 전에 정합니다. 몇 명을 모을지, 어떤 검정을 쓸지도 미리 적어 둡니다(9절).
  3. 검정 통계량을 계산한다. 자료를 숫자 하나로 줄입니다. 이 쪽에서는 평균 차이 4, 또는 그것을 표준오차로 나눈 z = 2.5 입니다.
  4. p값을 구한다. 귀무가설이 참일 때 검정 통계량이 지금만큼 또는 더 치우치게 나올 확률입니다. 꼬리표를 섞어 세거나(2절), 분포 곡선의 넓이로 셉니다(4절).
  5. 판단하고 함께 적는다. p < α 이면 귀무가설을 기각하고 「통계적으로 유의하다」고 말합니다. 그렇지 않으면 기각하지 못합니다. 어느 쪽이든 효과의 크기와 신뢰구간을 같이 적습니다(6절).

4. 식이 만들어지는 과정: z = (d − d₀) ÷ SE

꼬리표를 섞는 대신 식 하나로 p값을 구할 수도 있습니다. d 는 관찰한 차이, d₀ 는 귀무가설이 말하는 값(보통 0), SE 는 표준오차(standard error)입니다.

z = (d − d₀) ÷ SE
p = P(|Z| ≥ |z|)

Z 는 표준정규분포(평균 0, 표준편차 1 인 정규분포)를 따르는 값입니다. 둘째 식은 「표준정규분포에서 크기가 |z| 이상인 값이 나올 확률」, 곧 곡선 양쪽 바깥의 넓이입니다. 아래에서 「다음」을 눌러 식이 한 조각씩 붙는 것을 보세요. 그림은 맨 위 실험과 같은 자료(차이 4, 표준오차 1.6)입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위 식에 한 조각이 붙고(주황 바탕이 이번에 붙은 조각), 그 아래 줄에 이 자료의 숫자가 들어가고, 그림이 그만큼 바뀌고, 맨 아래에 까닭이 나옵니다. 초록 곡선은 효과가 없을 때 나올 차이의 분포, 파랑 막대는 표준오차(곡선 가운데에서 표준편차 하나만큼), 주황 세로선은 관찰한 차이, 보라 점선은 α = 0.05 의 임계값(critical value)입니다. 셋째 단계에서 그림 전체가 1.6 배 줄어듭니다. 축 바로 아래 회색 숫자는 mmHg 눈금이라 그림과 같이 줄어들고, 셋째 단계부터 나오는 검은 숫자는 z 눈금입니다.

  1. 관찰한 차이: d. 새 약 평균 6 − 가짜 약 평균 2 = 4 mmHg. 이 숫자만으로는 큰지 작은지 알 수 없습니다.
  2. 귀무가설의 값 빼기: d − d₀. 효과가 없다면 차이는 0 둘레에서 흔들립니다. 4 − 0 = 4. 가정에서 얼마나 벗어났나입니다. 까닭: 귀무가설이 「차이 = 0」이 아니라 「차이 = 2」라면 2 를 뺍니다. 재는 것은 언제나 「가정에서 벗어난 만큼」입니다.
  3. 표준오차로 나누기: (d − d₀) ÷ SE. 4 ÷ 1.6 = 2.5. 차이가 우연히 흔들리는 폭의 2.5 배라는 뜻입니다. 까닭: 같은 4 mmHg 라도 흔들리는 폭이 10 이면 흔한 일이고 0.5 면 아주 드문 일입니다. 폭으로 나누면 단위가 지워지고, 어떤 자료든 표준정규분포 하나로 비교할 수 있습니다(표준화와 같은 일).
  4. 바깥 넓이가 p값: p = P(|Z| ≥ |z|). 표준정규분포에서 2.5 이상일 확률은 0.0062, −2.5 이하도 0.0062. 더하면 0.0124 입니다.
  5. α 와 비교하기. 0.0124 < 0.05 → 귀무가설을 기각합니다. 같은 말로, |z| = 2.5 가 양쪽 넓이 0.05 의 임계값 1.96 보다 바깥에 있습니다.

표준오차는 어디서 나오나

평균은 사람을 바꿔 다시 뽑으면 조금씩 달라집니다. 그 흔들림의 크기가 평균의 표준오차이고, 사람마다의 퍼짐(표준편차 s)을 √n 으로 나눈 값입니다(표본과 표집분포). 두 평균의 차이는 두 흔들림이 합쳐지므로 분산을 더한 뒤 제곱근을 씌웁니다.

SE = √(s₁² ÷ n₁ + s₂² ÷ n₂)

위 자료는 두 집단 모두 표본 분산(n − 1 로 나눈 분산)이 32 이고 n 이 25 입니다.

손으로 풀어 보기

단계계산값
관찰한 차이 d6 − 24 mmHg
표준오차 SE√(32 ÷ 25 + 32 ÷ 25) = √2.561.6 mmHg
검정 통계량 z(4 − 0) ÷ 1.62.5
한쪽 바깥 넓이표준정규분포에서 2.5 이상0.0062
p값(양측)2 × 0.00620.0124
판단0.0124 < 0.05귀무가설 기각

표준정규분포의 넓이는 더하기·곱하기만으로 끝까지 풀리지 않아 근사식으로 셉니다. 이 쪽의 실험은 여오차함수(erfc)의 근사식을 쓰고, 파이썬 math.erfc 와 비교해 잰 가장 큰 상대 오차는 약 0.00000011 입니다. 임계값 1.96 도 같은 함수로 「양쪽 넓이가 0.05 가 되는 z」를 찾아 구합니다.

순열 검정, z 식, t 검정

같은 자료에서 순열 검정(10,000번 섞기)은 p ≈ 0.018, z 식은 p = 0.0124 를 냅니다. 세 방법은 귀무 분포를 만드는 방식이 달라 p 가 조금씩 다릅니다. z 식은 표준오차 1.6 을 정확히 아는 값처럼 씁니다. 실제로 1.6 은 50명의 자료로 추정한 값이라 그것도 흔들립니다. 이 흔들림까지 셈에 넣으면 정규분포보다 꼬리가 조금 두꺼운 t 분포가 되고, 이것으로 p값을 구하는 것이 t 검정입니다. 같은 자료의 t 검정(자유도 48)은 p ≈ 0.016 입니다. 표본이 작을수록 z 식은 p 를 너무 작게 내기 쉬워서, 평균을 비교할 때는 보통 t 검정을 씁니다. 자료가 한쪽으로 치우쳤거나 이상치(outlier)가 많아 정규분포라는 가정이 걱정되면 순열 검정이나 순위를 쓰는 비모수 검정을 씁니다.

5. 단측 검정과 양측 검정

양측 검정(two-sided test)은 「새 약이 더 낮춘다」와 「새 약이 덜 낮춘다」 어느 쪽으로 치우쳐도 드문 일로 셉니다. 그래서 바깥 넓이 두 개를 더합니다. 단측 검정(one-sided test)은 미리 정한 한 방향만 셉니다. 귀무 분포가 0 을 가운데로 대칭이면 단측 p 는 양측 p 의 절반쯤입니다(맨 위 실험에서 0.018 과 0.009, 식으로는 0.0124 와 0.0062).

그래서 자료를 본 뒤에 단측 검정으로 바꾸면 p 가 절반으로 줄어듭니다. 결과를 보고 고르는 일이라 공정하지 않습니다. 단측 검정은 반대 방향의 결과에 아무 뜻이 없다고 미리 말할 수 있을 때만 씁니다. 어느 쪽이든 자료를 보기 전에 정합니다.

6. 효과 크기와 표본 크기

p값은 효과의 크기 하나로 정해지지 않습니다. 식 z = (d − 0) ÷ SE 에서 SE 는 √n 에 맞춰 작아지므로, 같은 차이라도 사람을 많이 모으면 z 가 커지고 p 가 작아집니다. 아래 실험은 「실제 효과」를 정해 두고 새 연구를 20번 해서 p값 20개를 찍습니다.

한 줄이 연구 하나입니다. 집단마다 n 명을 새로 뽑아 두 평균의 차이로 양측 z 검정을 하고, 그 p값에 점을 찍습니다. 가로 눈금은 한 칸 갈 때마다 10분의 1 로 작아집니다(로그 눈금). 주황 점선 왼쪽(p < 0.05)의 점은 주황, 오른쪽은 초록입니다. 그림보다 작은 p 는 왼쪽 끝의 세모로 그립니다. 사람마다의 퍼짐(표준편차)은 맨 위 자료와 같은 5.66 mmHg 이고, 그 값을 안다고 칩니다. 실제로는 표준편차도 자료로 추정하므로 t 검정을 씁니다. 빨리 그리려고 연구마다 집단의 평균만 뽑습니다(n 명을 다 뽑아 평균 낸 것과 같은 분포). 효과나 n 을 바꾸면 같은 시드로 다시 시작합니다. 자료는 모두 지어낸 것입니다.

해 볼 것. ① 처음(효과 0, n 25)에는 20개 가운데 1개가 p < 0.05 입니다. 약에 효과가 전혀 없는데도 「유의」가 나왔습니다. 「새 자료로 20번」을 아홉 번 더 눌러 200개를 채우면 10개, 5.0% 입니다. 효과가 없으면 p 는 0 과 1 사이에 고르게 흩어지고, 그 가운데 5% 가 0.05 아래로 떨어집니다. 이것이 1종 오류이고, 그 비율이 α 입니다. ② 효과 0 에서는 n 을 5,000 까지 키워도 점의 자리가 그대로이고 비율도 5% 그대로입니다. ③ 효과를 4 로 올리면(n 25) 20개 가운데 14개가 p < 0.05 입니다. 식으로 구한 비율(검정력)은 70.5% 입니다. 맨 위 자료와 같은 크기의 연구를 다시 해도 열에 셋쯤은 「유의하지 않음」이 나온다는 뜻입니다. ④ 효과를 0.5 로 낮추면(n 25) 20개 가운데 1개(식으로는 6.1%)로 효과 0 일 때와 거의 같습니다. n 을 2,000 으로 키우면 16개(79.8%), 5,000 이면 20개 모두(99.3%) p < 0.05 이고, p 가 그림 왼쪽 끝(0.000001)보다 작은 것도 8개 나옵니다. 0.5 mmHg 는 아주 작은 차이인데도 그렇습니다. ⑤ 효과 2, n 100 은 효과 4, n 25 와 점의 자리가 똑같습니다. 효과가 절반이면 같은 검정력을 얻는 데 사람이 4배 필요합니다.

효과 크기는 차이 그 자체(4 mmHg)로 적거나, 그것을 사람마다의 표준편차로 나눈 값(4 ÷ 5.66 ≈ 0.71, 코언의 d)으로 적습니다. 유의성과 효과 크기는 다른 물음입니다. 「통계적으로 유의하다」는 「우연만으로 설명하기 어렵다」는 뜻일 뿐, 「크다」나 「중요하다」는 뜻이 아닙니다. 그래서 p값만 적지 말고 차이의 크기와 신뢰구간을 같이 적습니다. 위 자료라면 차이 4 mmHg, 95% 신뢰구간은 4 ± 1.96 × 1.6, 곧 약 0.9 ~ 7.1 mmHg 입니다. 같은 표준오차와 정규분포를 쓰면 「95% 신뢰구간이 0 을 품지 않는다」와 「양측 p < 0.05」는 같은 말이고, 구간은 효과가 얼마쯤일 수 있는지까지 알려 줍니다.

7. p값이 말해 주는 것과 아닌 것

p값은 「귀무가설이 참이라면」이라는 조건을 달고 계산한 확률입니다. 조건과 결과를 뒤집어 읽는 것이 가장 흔한 실수입니다. 아래 문장마다 맞는 풀이인지 골라 보세요. 고르면 까닭이 나옵니다.

  1. ① 「p = 0.03 이면 귀무가설(효과가 없다)이 참일 확률이 3% 다.」

  2. ② 「약에 효과가 없다면, 지금만큼 또는 더 치우친 차이가 나올 확률이 3% 다.」

  3. ③ 「p = 0.03 이면 이 차이가 우연히 생겼을 확률이 3% 다.」

  4. ④ 「p > 0.05 이면 효과가 없다는 것이 증명됐다.」

  5. ⑤ 「p = 0.001 인 약이 p = 0.04 인 약보다 효과가 크다.」

  6. ⑥ 「p < 0.05 를 얻었으니 같은 실험을 다시 해도 거의 틀림없이 p < 0.05 가 나온다.」

  7. ⑦ 「효과가 전혀 없는 약 스무 개를 하나씩 시험하면, 하나쯤은 p < 0.05 가 나와도 이상하지 않다.」

이렇게 읽으면 틀린다

틀린 풀이바른 풀이
p = 0.03 → 귀무가설이 참일 확률 3%귀무가설이 참이라면 이만큼 치우친 자료가 나올 확률 3%. 귀무가설이 참일 확률은 p 만으로 구할 수 없다
p = 0.03 → 결과가 우연일 확률 3%위와 같은 실수. 「우연일 확률」은 「귀무가설이 참일 확률」의 다른 말이다
p = 0.03 → 대립가설이 참일 확률 97%p 는 대립가설의 확률도 아니다
p > 0.05 → 효과가 없다효과가 있다고 말할 증거가 모자라다. 작은 연구는 효과가 있어도 자주 p > 0.05 를 낸다
p 가 더 작다 → 효과가 더 크다p 에는 효과 크기와 표본 크기가 섞여 있다. 효과 크기는 차이와 신뢰구간으로 본다
p < 0.05 → 다시 해도 유의할 것이다다시 해서 유의할 확률은 검정력이다. p 가 0.05 바로 밑이었다면 절반쯤이다
p = 0.049 와 p = 0.051 은 결론이 정반대다둘은 거의 같은 증거다. 0.05 는 약속한 유의수준일 뿐이다

미국통계학회(ASA)는 p값이 잘못 쓰이는 일이 많다며 2016년에 여섯 원칙을 담은 성명을 냈습니다(출처의 Wasserstein, Lazar). 줄여 옮기면 이렇습니다.

  1. p값은 자료가 정해 둔 통계 모형과 얼마나 맞지 않는지를 나타낼 수 있다.
  2. p값은 따져 보는 가설이 참일 확률도, 자료가 우연만으로 나왔을 확률도 재지 않는다.
  3. 과학의 결론과 사업·정책의 결정을 p값이 어떤 문턱을 넘었는지만으로 내리지 않는다.
  4. 바른 추론에는 빠짐없는 보고와 투명함이 필요하다.
  5. p값이나 통계적 유의성은 효과의 크기나 결과의 중요성을 재지 않는다.
  6. p값 하나만으로는 모형이나 가설에 대한 증거를 잘 재지 못한다.

8. 0.05 는 약속일 뿐이다

α = 0.05 는 「효과가 없을 때 잘못 기각하는 일을 20번에 1번까지는 받아들이겠다」는 약속입니다. 자연에서 나온 값이 아니라 오래 써 온 관례라서, 분야와 상황에 따라 0.01 처럼 더 엄하게 잡기도 합니다. 수천 개를 한꺼번에 검정하는 연구는 훨씬 작은 유의수준을 씁니다(다중 비교).

문턱은 판단을 둘로 나누지만 증거는 이어져 있습니다. p = 0.049 와 p = 0.051 은 거의 같은 증거입니다. 그래서 「p < 0.05」 대신 p값 자체(예: p = 0.012)를 적고, 효과 크기와 신뢰구간을 같이 적습니다.

두 가지 잘못: 1종 오류와 2종 오류

실제로 효과가 없다(귀무가설이 참)실제로 효과가 있다
기각한다(p < α)1종 오류: 없는 효과를 있다고 한다. 확률 α맞다. 이 확률이 검정력(1 − β)
기각하지 못한다맞다2종 오류: 있는 효과를 놓친다. 확률 β

α 를 작게 잡으면 1종 오류는 줄지만 있는 효과를 놓치는 2종 오류가 늡니다. 둘을 함께 줄이려면 사람을 더 모아야 합니다. 6절의 「식으로 구한 비율」이 검정력입니다. 자세한 것은 1종·2종 오류와 검정력, 몇 명이 필요한지는 표본 크기 계산에 있습니다.

9. p 해킹과 미리 적어 두기

효과가 없어도 20번 검정하면 하나쯤은 p < 0.05 가 나옵니다(6절의 ①). 이것을 거꾸로 쓰면 무엇이든 「유의」하게 만들 수 있습니다. 자료를 모으며 여러 번 들여다보다가 p < 0.05 가 되는 순간 멈추기, 결과를 여러 가지 재고 유의한 것만 보고하기, 이상치를 뺄지 말지나 집단을 어떻게 나눌지를 바꿔 가며 여러 번 분석하기, 결과를 본 뒤 단측 검정으로 바꾸기. 하나하나는 그럴듯해 보여도 모두 「여러 번 보고 좋은 것만 고르기」입니다. 이렇게 고른 p값은 「효과가 없으면 5%」라는 약속을 더는 지키지 않습니다. 이것을 p 해킹이라고 부릅니다. 이런 유연한 분석만으로 거짓 양성이 크게 늘어난다는 것을 시뮬레이션으로 보인 연구가 있습니다(출처의 Simmons 등).

서로 독립인 검정 20번이 모두 효과가 없는 것이라도, 적어도 하나가 p < 0.05 일 확률은 1 − 0.95²⁰ ≈ 0.64 입니다.

막는 방법은 결과를 보기 전에 계획을 적어 두는 것입니다. 무엇을 주 결과로 볼지, 몇 명을 모을지, 어떤 검정을 쓸지, 이상치를 어떻게 다룰지를 자료를 모으기 전에 공개된 곳에 적어 둡니다(사전 등록). 여러 번 검정해야 한다면 그 횟수만큼 유의수준을 엄하게 고칩니다(다중 비교). 임상시험에서 이것을 어떻게 하는지는 임상시험 설계에서 봅니다.

10. 꼭 알아야 할 성질

성질쉬운 말
p값은 「귀무가설이 참이라면」을 단 확률가설이 참일 확률이 아니다. 조건을 뒤집어 읽지 않는다
효과가 없으면 p 는 0 과 1 사이에 고르게 나온다(검정의 가정이 맞을 때)그래서 α = 0.05 로 판단하면 효과가 없을 때 5% 는 「유의」가 나온다(1종 오류)
p 에는 효과 크기와 표본 크기가 함께 들어 있다작은 효과도 n 이 크면 p 가 작고, 큰 효과도 n 이 작으면 p 가 클 수 있다
p 는 자료마다 크게 흔들린다같은 연구를 다시 하면 p 가 크게 달라진다(6절의 점들)
p 는 가정이 맞을 때만 뜻이 있다무작위 배정, 서로 독립인 자료, 미리 정한 분석. 여러 번 보고 고르면 뜻이 사라진다

어디에 쓰나

# 파이썬 표준 라이브러리만으로. 위 실험과 같은 지어낸 자료
import random
from statistics import NormalDist, mean

placebo = [-10, -6, -5, -5, -3, -2, -2, -1, -1, 0, 1, 1, 2, 3, 3, 4, 5, 6, 6, 6, 6, 8, 10, 11, 13]
drug = [-6, -3, -1, 1, 1, 2, 2, 2, 3, 5, 5, 5, 6, 7, 7, 8, 8, 8, 9, 11, 12, 13, 13, 15, 17]
observed = mean(drug) - mean(placebo)              # 4

# 순열 검정(양측). 집단 크기가 같아 합의 차이로 비교해도 된다(소수 오차가 없다)
both = placebo + drug
rng = random.Random(1)
count = 0
for _ in range(10000):
    rng.shuffle(both)
    if abs(sum(both[:25]) - sum(both[25:])) >= abs(sum(drug) - sum(placebo)):
        count += 1
print(count / 10000)                               # 0.0173

# z 식
z = (observed - 0) / 1.6
print(2 * (1 - NormalDist().cdf(abs(z))))          # 0.0124

위 코드의 섞기는 파이썬 난수라 실험의 0.018 과 조금 다른 0.0173 이 나옵니다. 섞는 차례가 다르면 p 도 조금씩 다릅니다.

자주 묻는 것

p값이 뭔가요?

귀무가설(예: 「효과가 없다」)이 참이라고 놓았을 때, 지금 본 것만큼 또는 더 치우친 결과가 나올 확률입니다. 작을수록 자료가 그 가정과 잘 맞지 않는다는 뜻입니다. 귀무가설이 참일 확률은 아닙니다.

p > 0.05 이면 효과가 없다는 뜻인가요?

아닙니다. 효과가 있다고 말할 증거가 모자라다는 뜻일 뿐입니다. 표본이 작으면 실제로 효과가 있어도 p > 0.05 가 자주 나옵니다. 신뢰구간을 보면 효과가 얼마까지 있을 수 있는지 알 수 있습니다.

왜 하필 0.05 인가요?

효과가 없을 때 잘못 기각하는 일을 20번에 1번까지는 받아들이자는 오래된 관례입니다. 자연의 법칙이 아니라서 분야에 따라 더 엄한 유의수준을 쓰기도 합니다. 문턱을 넘었는지만 적지 말고 p값 자체와 효과 크기, 신뢰구간을 같이 적습니다.

단측 검정과 양측 검정은 언제 쓰나요?

양측 검정은 어느 방향의 차이든 셉니다. 단측 검정은 반대 방향의 결과에 뜻이 없다고 미리 말할 수 있을 때만 씁니다. 어느 쪽이든 자료를 보기 전에 정합니다. 결과를 본 뒤 단측으로 바꾸면 p 가 절반으로 줄어 공정하지 않습니다.

꼬리표 섞기(순열 검정)와 t 검정은 무엇이 다른가요?

둘 다 「효과가 없다면 나올 차이들」 위에 실제 차이를 놓고 p값을 구합니다. 순열 검정은 꼬리표를 직접 섞어 그 분포를 만들고, t 검정은 자료가 정규분포에 가깝다고 가정한 식(t 분포)으로 계산합니다. 이 쪽의 자료에서는 순열 검정 0.018, t 검정 0.016 으로 비슷합니다.

낱말

여기서 쓴 말책에서 부르는 말
「차이가 없다」는 가정귀무가설(null hypothesis, H₀)
「차이가 있다」대립가설(alternative hypothesis, H₁)
효과가 없을 때 나올 값들의 분포귀무 분포(null distribution)
자료를 숫자 하나로 줄인 것검정 통계량(test statistic). 표준오차로 나눈 것은 z 통계량(z-statistic)
이만큼 치우친 결과가 나올 확률p값(p-value), 유의 확률
미리 정한 문턱유의수준(significance level, α)
문턱보다 작다통계적으로 유의하다(statistically significant)
귀무가설을 버린다기각(reject the null hypothesis)
양쪽 넓이가 α 가 되는 경계(1.96)임계값(critical value). 그 바깥은 기각역(rejection region)
평균이 우연히 흔들리는 폭표준오차(standard error, SE)
꼬리표 섞기순열 검정(permutation test), 무작위화 검정(randomization test)
한 방향만 / 양쪽 다단측 검정(one-sided test) / 양측 검정(two-sided test)
없는 효과를 있다고 함1종 오류(type I error), 거짓 양성(false positive)
있는 효과를 놓침2종 오류(type II error), 거짓 음성(false negative)
있는 효과를 찾아낼 확률검정력(statistical power)
차이가 얼마나 큰가효과 크기(effect size). 표준편차로 나눈 것은 코언의 d(Cohen's d)
가짜 약위약(placebo)
여러 번 보고 좋은 것만 고르기p 해킹(p-hacking), 데이터 준설(data dredging)
미리 계획을 적어 두기사전 등록(preregistration)
정규분포 바깥 넓이를 셀 때 쓰는 함수여오차함수(complementary error function, erfc)

출처

← 신뢰구간1종·2종 오류와 검정력 →