다중 비교: 검정을 여러 번 하면 생기는 일
약 하나로 결과를 스무 가지 재거나, 유전자 수천 개를 한꺼번에 훑으면 「유의」한 것이 꼭 몇 개 나옵니다. 그 가운데 얼마가 우연인지, 기준을 어떻게 고쳐야 하는지 직접 돌려 보며 봅니다. 이 쪽의 자료는 모두 지어낸 것이고, 통계 개념만 설명합니다.
한 줄 답. 검정 하나에서 1종 오류(type I error)를 범할(효과가 없는데 「유의」라고 할) 확률이 5% 라도, 검정을 20번 하면 그 가운데 하나쯤은 우연히 「유의」하게 나옵니다. 그래서 여러 번 검정할 때는 기준을 더 엄하게 잡습니다. 본페로니는 「1종 오류를 하나도 범하지 않기」(가족 오류율, FWER)를, 벤저미니-호크버그는 「찾았다고 한 것 가운데 거짓 발견의 비율」(거짓 발견율, FDR)을 다스립니다.
칸 하나가 검정 하나입니다. 검정마다 효과가 전혀 없는 지어낸 약과 위약(placebo, 가짜 약)을 집단마다 20명씩 비교합니다. 그러니 주황으로 칠한 칸(p < 0.05)은 모두 거짓 발견입니다. 「실험하기」는 새 사람들로 같은 실험을 다시 합니다. 아래 그림의 초록 곡선은 식 1 − 0.95^m, 파란 네모는 같은 실험을 2,000번 되풀이해 「적어도 하나가 유의」했던 비율입니다. 가로 눈금은 1, 2, 5, 10 처럼 곱으로 늘어납니다. 난수는 고정 시드(seed)라, 같은 m 에서 같은 차례로 누르면 같은 결과가 나옵니다.
해 볼 것. ① 처음 화면(m = 20)에서는 효과가 없는 검정 20개 가운데 2개가 p < 0.05 입니다(p = 0.00964, 0.04). ② 「실험하기」를 네 번 더 누르면 0개, 1개(p = 0.00607), 0개, 2개가 나옵니다. 다섯 번 가운데 세 번(60.0%)은 적어도 하나가 유의했습니다. 식으로는 64.2%, 2,000번 되풀이한 시뮬레이션은 63.9% 입니다. ③ m 을 1 로 두면 식은 5.0%, 시뮬레이션은 5.3% 입니다. 14 로 두면 식이 51.2% 로 절반을 넘습니다(시뮬레이션 50.3%). ④ m 을 100 으로 두면 첫 실험에서 4개가 칠해집니다. 평균으로는 100 × 0.05 = 5개이고, 적어도 하나가 유의할 확률은 99.4% 입니다.
1. 왜 문제인가: 1종 오류를 범할 기회가 늘어난다
가설검정은 「효과가 없다면 지금만큼, 또는 이보다 더 치우친 자료가 나올 확률」을 p값으로 재고, p값이 유의수준(significance level) α(보통 0.05)보다 작으면 「유의하다」고 말합니다. 효과가 없는데도 「유의」가 나오는 것을 1종 오류 또는 거짓 발견(false discovery)이라고 부릅니다(1종·2종 오류와 검정력). 기준을 0.05 로 두면, 효과가 없는 검정 하나가 1종 오류를 범할 확률이 0.05 입니다.
문제는 검정이 여럿일 때입니다. 효과가 없는 검정 m 개를 서로 따로 하면, 1종 오류를 하나도 범하지 않을 확률은 0.95 를 m 번 곱한 값입니다. 그 나머지가 「적어도 하나가 1종 오류」입니다.
P(적어도 하나가 유의) = 1 − (1 − α)^m
| 검정 수 m | 하나도 안 걸릴 확률 0.95^m | 적어도 하나가 유의할 확률 | 거짓 발견 수의 평균 m × 0.05 |
|---|---|---|---|
| 1 | 0.95 | 5.0% | 0.05 |
| 5 | 0.7738 | 22.6% | 0.25 |
| 10 | 0.5987 | 40.1% | 0.5 |
| 20 | 0.3585 | 64.2% | 1 |
| 50 | 0.0769 | 92.3% | 2.5 |
| 100 | 0.0059 | 99.4% | 5 |
검정 20개면 거짓 발견이 평균 하나 나옵니다. 「20번 하면 하나쯤」이 이 뜻입니다. 한 질문에 답하려고 같이 하는 검정 묶음을 가족(family)이라고 부르고, 그 가족 안에서 거짓 발견이 하나라도 나올 확률을 가족 오류율(family-wise error rate, FWER)이라고 합니다. 위 표의 셋째 칸이 보정하지 않았을 때의 가족 오류율입니다.
이 식은 검정들이 서로 따로(독립)일 때의 값입니다. 같은 사람들에게서 잰 비슷한 결과들처럼 검정끼리 얽혀 있으면 값이 달라집니다. 그래도 「많아야 m × α」라는 것은 얽혀 있든 아니든 언제나 맞습니다. 다음 절에서 이것을 그림으로 봅니다.
이렇게 읽으면 틀린다. 「결과 20개 가운데 하나가 p = 0.04 였으니 그 효과는 96% 확률로 진짜다.」 p값은 「효과가 없다면 이만큼 치우친 자료가 나올 확률」이지 「효과가 진짜일 확률」이 아닙니다. 게다가 효과가 하나도 없어도 20개 가운데 하나쯤은 p < 0.05 가 나옵니다. 유의한 하나만 보고하고 나머지 열아홉을 말하지 않으면, 읽는 사람은 이 사실을 알 길이 없습니다.
2. 식이 만들어지는 과정: 본페로니 기준 α ÷ m
가족 오류율을 α(0.05) 아래로 묶어 두려면 검정 하나의 기준을 얼마로 낮춰야 할까요? 답은 α ÷ m 입니다. 「다음」을 눌러 이 식이 어떻게 나오는지 한 단계씩 보세요.
식에서 주황 바탕이 이번 단계에 붙은 조각입니다. 왼쪽 격자는 검정이 둘일 때를, 오른쪽 그래프는 m 개일 때를 보여 줍니다. 셋째 단계부터는 격자를 흐리게 둡니다.
- 검정 하나:
P(1종 오류) = α. 효과가 없는 검정은 α = 0.05 의 확률로 「유의」가 나옵니다. 400칸 가운데 20칸입니다. - 검정 둘:
P(둘 중 적어도 하나) ≤ α + α. 「적어도 하나가 1종 오류」는 초록 줄이나 파란 줄에 걸리는 칸입니다. 두 줄의 칸 수를 더하면 20 + 20 = 40칸인데, 두 줄이 만나는 칸 하나를 두 번 셌습니다. 실제는 39칸, 39 ÷ 400 = 0.0975 입니다. 겹친 몫을 빼지 않고 더하면 실제보다 크거나 같게 나오므로 「많아야」(≤)라고 적습니다. - 검정 m 개:
P(m 개 중 적어도 하나) ≤ m × α. 셋, 넷으로 늘려도 같습니다. 겹친 몫을 빼지 않고 다 더하면 많아야 m × α 입니다. 이 부등식은 검정들이 얽혀 있어도 성립합니다. 겹친 몫이 얼마든 더하기만 했기 때문입니다. - 검정마다 α ÷ m:
m × (α ÷ m) = α. 합을 α 로 묶어 두려면 검정 하나에 α 를 다 주지 않고 m 개로 나눠 줍니다. 그러면 위 부등식의 오른쪽이 정확히 α 가 됩니다. - 완성:
검정 하나의 기준 = α ÷ m. m = 20 이면 0.05 ÷ 20 = 0.0025 입니다. p ≤ 0.0025 인 검정만 「유의」로 봅니다.
근삿값 m × α 가 정확한 값과 얼마나 가까운지 숫자로 보면 이렇습니다(검정들이 서로 따로일 때).
| m | 정확한 값 1 − (1 − α)^m | 근삿값 m × α | 검정마다 α ÷ m 을 주면: 1 − (1 − α ÷ m)^m |
|---|---|---|---|
| 2 | 0.0975 | 0.1 | 0.0494 |
| 5 | 0.2262 | 0.25 | 0.0490 |
| 10 | 0.4013 | 0.5 | 0.0489 |
| 20 | 0.6415 | 1 | 0.0488 |
m 이 클수록 근삿값은 넉넉해져서 m = 20 의 1 은 아무것도 알려 주지 않는 근삿값이지만, 언제나 정확한 값보다 크거나 같습니다. 그래서 검정마다 α ÷ m 을 주면 마지막 칸처럼 가족 오류율은 0.05 를 넘지 않습니다. 넘지 않는 대신 조금 남깁니다(0.0488). 검정들이 서로 따로임을 안다면 남김없이 맞춘 기준 1 − (1 − α)^(1 ÷ m)(시다크, Šidák)을 쓸 수도 있지만, m = 20 에서 0.00256 대 0.0025 로 차이가 작아 본페로니를 더 흔히 씁니다.
해 볼 것. ① 「다음」을 한 번 누르면 파란 줄이 더해지고, 두 줄이 만나는 주황 칸 하나가 두 번 세어집니다. 오른쪽에는 m = 2 의 근삿값 0.1 과 정확한 값 0.0975 가 찍힙니다. ② 한 번 더 누르면 m = 20 에서 근삿값 1 과 정확한 값 0.6415 사이의 틈(주황 칠)이 보입니다. ③ 끝까지 넘기면 두 선이 0.05 근처에 눕고, m = 20 의 기준 0.0025 에서 적어도 하나가 1종 오류를 범할 확률은 0.0488 입니다.
3. 두 가지 목표: 가족 오류율과 거짓 발견율
검정 m 개를 하고 나면 하나하나가 아래 네 칸 가운데 하나에 들어갑니다. 진짜 효과가 있는지는 실제로는 모르지만, 지어낸 자료에서는 알 수 있습니다.
| 발견이라고 함(유의) | 버림(유의하지 않음) | |
|---|---|---|
| 진짜 효과가 있음 | 진짜 발견 | 놓친 것(2종 오류) |
| 효과가 없음 | 거짓 발견(1종 오류) | 바르게 버린 것 |
거짓 발견 수를 V, 발견이라고 한 것의 수를 R 이라고 하면 두 목표는 이렇게 다릅니다.
- 가족 오류율(FWER) = P(V ≥ 1). 거짓 발견이 하나라도 나올 확률입니다. 「목록에 틀린 것이 하나도 없어야 한다」는 약속입니다. 본페로니와 홀름이 이것을 α 로 묶습니다.
- 거짓 발견율(FDR) = V ÷ R 의 평균(R = 0 이면 0 으로 칩니다). 발견이라고 한 것 가운데 거짓 발견이 차지하는 비율을, 같은 연구를 여러 번 한다고 칠 때 평균 낸 값입니다. 「목록에 틀린 것이 조금 섞여도 되지만, 평균 5% 를 넘지 않게」라는 약속입니다. 벤저미니-호크버그가 이것을 q 로 묶습니다.
예로, 발견이 20개인 목록에 거짓 발견이 1개 섞여 있으면 이 목록의 거짓 발견 비율은 5% 입니다. 가족 오류율의 눈으로는 「거짓 발견이 있으니 실패」이고, 거짓 발견율의 눈으로는 「5% 면 괜찮다」입니다. 효과가 있는 검정이 하나도 없으면 둘은 같아집니다. 거짓 발견이 하나라도 있으면 그 목록의 비율은 100% 이기 때문입니다.
| 가족 오류율(FWER) | 거짓 발견율(FDR) | |
|---|---|---|
| 묻는 것 | 틀린 발견이 하나라도 있을 확률 | 발견 가운데 틀린 것의 비율(평균) |
| 엄한 정도 | 엄하다. 검정이 많을수록 기준이 크게 낮아진다 | 덜 엄하다. 진짜가 많으면 기준이 덜 낮아진다 |
| 어울리는 곳 | 틀린 주장 하나가 큰 결과를 낳는 확인 연구. 임상시험의 주된 결과 여러 개 | 많이 찾아 놓고 다음 실험으로 다시 확인하는 탐색. 유전자 수천 개 훑기 |
| 대표 방법 | 본페로니, 홀름 | 벤저미니-호크버그(BH) |
이렇게 읽으면 틀린다.
- 「FDR 5% 로 찾았으니, 찾은 것 하나하나가 5% 확률로 틀렸다.」 FDR 은 목록 전체에 대한, 그것도 여러 번 했을 때의 평균입니다. 한 번 얻은 목록의 실제 거짓 발견 비율은 5% 보다 클 수도 작을 수도 있습니다. 아래 실험에서 「이번 거짓 발견 비율」과 「되풀이 평균」이 다른 것을 보세요.
- 「FWER 을 5% 로 묶었으니 발견의 5% 가 거짓 발견이다.」 FWER 은 비율이 아니라 「하나라도 있을 확률」입니다.
- 「보정한 뒤 유의하지 않으니 효과가 없다.」 보정하면 기준이 엄해져 진짜 효과도 놓치기 쉽습니다. 「이 자료로는 보이지 않았다」일 뿐입니다(8절).
4. 방법 셋: 본페로니, 홀름, 벤저미니-호크버그
세 방법 모두 p값을 작은 것부터 늘어놓고 순위를 붙여 생각하면 쉽습니다. 가장 작은 p 가 1위, p₍₁₎ ≤ p₍₂₎ ≤ … ≤ p₍ₘ₎ 입니다. α 와 q 는 모두 0.05 로 둡니다.
- 본페로니. 모든 검정에 같은 기준
α ÷ m. p ≤ α ÷ m 이면 발견입니다. 같은 일을 p값 쪽에서 하면 보정된 p = min(1, m × p) 를 α 와 비교합니다. - 홀름. 1위부터 차례로
p₍ᵢ₎ ≤ α ÷ (m − i + 1)인지 봅니다. 맞으면 발견으로 넘기고 다음 순위로, 처음으로 틀리는 곳에서 멈춥니다. 그 뒤는 보지 않고 모두 버립니다. 1위의 기준은 본페로니와 같은 α ÷ m 이고, 하나를 넘길 때마다 α ÷ (m − 1), α ÷ (m − 2) 로 조금씩 느슨해집니다. 쉽게 말하면, 앞의 것을 발견으로 넘겼다면 남은 걱정거리는 그만큼 줄어든 셈이라 나눠 줄 몫이 커집니다(증명은 홀름의 논문에 있습니다). 검정끼리 어떻게 얽혀 있어도 FWER ≤ α 가 성립합니다. - 벤저미니-호크버그(BH). 순위 i 의 임계값(threshold)을
(i ÷ m) × q로 둡니다. 순위가 뒤로 갈수록 올라가는 기울어진 선입니다.p₍ᵢ₎ ≤ (i ÷ m) × q인 가장 큰 순위 k 를 찾고, 1위부터 k 위까지를 모두 발견으로 봅니다. 홀름이 앞에서부터 보다 멈추는 것과 반대로, 뒤에서부터 찾습니다. 그래서 자기 임계값보다 큰 p 도 뒤의 순위 덕에 발견이 될 수 있습니다. 검정들이 서로 따로이면 FDR 이 (효과 없는 검정의 비율) × q 가 되어 q 를 넘지 않습니다. 같은 쪽으로 함께 움직이는 검정으로 넓힌 연구도 있고, 어떻게 얽혀 있어도 되게 더 엄하게 고친 방법(벤저미니-예쿠티엘리)도 있습니다.
| 방법 | 다스리는 것 | 순위 i 의 기준 | 검정끼리 얽혀 있으면 | 찾는 힘 |
|---|---|---|---|---|
| 보정 없음 | 검정 하나하나의 α | α | 상관없음 | 가장 큼(거짓 발견도 가장 많음) |
| 본페로니 | FWER | α ÷ m | 그래도 성립 | 가장 작음 |
| 홀름 | FWER | α ÷ (m − i + 1), 앞에서부터 처음 넘는 곳에서 멈춤 | 그래도 성립 | 본페로니가 찾는 것을 늘 다 찾는다 |
| BH | FDR | (i ÷ m) × q, 임계값 아래인 가장 큰 순위까지 | 서로 따로이거나 같은 쪽으로 얽힐 때 증명됨 | q = α 이면 홀름이 찾는 것을 늘 다 찾는다 |
같은 α = q 에서 발견 목록은 늘 본페로니 ⊆ 홀름 ⊆ BH ⊆ 보정 없음 차례로 커집니다. 홀름의 i 위 기준 α ÷ (m − i + 1) 은 BH 의 임계값 (i ÷ m) × α 보다 크지 않기 때문입니다(두 값을 비교하면 (i − 1)(m − i) ≥ 0 으로 정리됩니다).
| 방법 | 진짜 발견 | 거짓 발견 | 놓친 것 | 바르게 버린 것 | 거짓 발견 비율 | 검정력 |
|---|
| 방법 | 거짓 발견 비율의 평균(FDR) | 거짓 발견이 하나라도 나온 비율(FWER) | 검정력의 평균 |
|---|
작게 줄인 본보기입니다. 검정 하나는 집단마다 20명인 지어낸 약과 위약의 평균 비교이고, 50개 가운데 「진짜 효과가 있는 비율」만큼 앞쪽 검정에 효과를 넣습니다. 효과 크기 d 는 두 집단 평균의 차이를 표준편차로 나눈 값입니다(1 이면 표준편차 하나만큼 다르다). 사람마다 값을 뽑는 대신, 표준편차를 안다고 보고 같은 결과를 내는 검정 통계량 z 를 바로 뽑습니다. 진짜 연구에서는 t 검정을 쓰는 일이 많지만, 여기서 보려는 다중 비교의 모습은 같습니다. 세로 눈금은 칸마다 10배씩 작아지는 로그 척도라 아주 작은 p 도 보이고, 그래서 BH 의 곧은 임계값 (i ÷ m) × q 가 휘어 보입니다. 보정 없음과 본페로니는 선 아래의 점이 곧 발견입니다. 홀름은 왼쪽부터 보다가 처음으로 선 위에 있는 점에서 멈추고, BH 는 선 아래에 있는 가장 오른쪽 점까지 모두 발견입니다.
해 볼 것. ① 처음(진짜 20% = 10개, d = 1) 보정 없음은 11개를 찾습니다. 진짜 10개를 다 찾았지만 거짓 발견 1개가 섞였습니다. ② 본페로니는 4개, 홀름은 5개를 찾습니다. 거짓 발견은 없지만 진짜를 6개, 5개 놓칩니다. ③ BH 는 10개를 찾습니다. 진짜 9개와 거짓 발견 1개입니다. 이번 거짓 발견 비율은 10.0% 로 q = 5% 보다 크지만, 2,000번 되풀이한 평균(FDR)은 4.0% 입니다. 효과 없는 검정의 비율 80% × 5% = 4% 와 같습니다. ④ 되풀이 표에서 본페로니와 홀름의 FWER 은 4.2%, 4.5% 로 5% 아래이고 검정력은 44.8%, 45.9% 입니다. BH 는 FWER 이 27.3% 로 높은 대신 검정력이 68.0% 입니다. 보정 없음은 FWER 87.7%, FDR 17.3% 입니다. ⑤ 진짜 비율을 0 으로 두면 효과가 있는 검정이 없어 FDR 과 FWER 이 같아집니다(보정 없음 92.5%, 나머지 셋 5.1%). ⑥ 처음 설정에서 효과 크기만 1.5 로 올리면 네 방법 모두 진짜 10개를 다 찾습니다. 효과가 크면 엄한 기준도 넘깁니다.
5. 손으로 풀어 보기: p값 다섯 개
지어낸 약 하나를 먹은 집단과 위약을 먹은 집단을 비교하며 결과 다섯 가지를 쟀다고 합시다. p값이 아래처럼 나왔습니다(지어낸 숫자). 다섯 가지 가운데 어느 것에 효과가 있다고 말할 수 있을까요? m = 5, α = q = 0.05 입니다.
| 순위 i | 결과 | p | 본페로니 기준 0.05 ÷ 5 | 홀름 기준 0.05 ÷ (5 − i + 1) | BH 임계값 (i ÷ 5) × 0.05 |
|---|---|---|---|---|---|
| 1 | 혈압 | 0.004 | 0.01 → 발견 | 0.01 → 발견 | 0.01 → 아래 |
| 2 | 콜레스테롤 | 0.011 | 0.01 → 버림 | 0.0125 → 발견 | 0.02 → 아래 |
| 3 | 몸무게 | 0.02 | 0.01 → 버림 | 0.0167 → 넘음, 멈춤 | 0.03 → 아래 |
| 4 | 잠든 시간 | 0.045 | 0.01 → 버림 | (보지 않음) | 0.04 → 넘음 |
| 5 | 두통 횟수 | 0.3 | 0.01 → 버림 | (보지 않음) | 0.05 → 넘음 |
- 보정 없음. 0.05 보다 작은 것은 0.004, 0.011, 0.02, 0.045 로 4개입니다.
- 본페로니. 기준 0.05 ÷ 5 = 0.01. 0.01 아래는 0.004 하나라 1개입니다. 0.011 은 아깝게 넘습니다.
- 홀름. 1위 0.004 ≤ 0.05 ÷ 5 = 0.01 이라 발견. 2위 0.011 ≤ 0.05 ÷ 4 = 0.0125 라 발견. 3위 0.02 > 0.05 ÷ 3 ≈ 0.0167 이라 멈춥니다. 2개입니다. 본페로니가 버린 0.011 을 찾았습니다.
- BH. 임계값은 0.01, 0.02, 0.03, 0.04, 0.05 입니다. p ≤ 임계값 인 순위는 1, 2, 3위이고 가장 큰 것은 k = 3 입니다(4위 0.045 > 0.04). 1 ~ 3위, 3개를 발견으로 봅니다.
같은 결론을 보정된 p 로도 낼 수 있습니다. 보정된 p 가 0.05 이하이면 발견입니다.
| p | 본페로니: 5 × p (1 을 넘으면 1) | 홀름: (5 − i + 1) × p, 앞에서부터 누적 최댓값 | BH: 5 × p ÷ i, 뒤에서부터 누적 최솟값 |
|---|---|---|---|
| 0.004 | 0.02 | 5 × 0.004 = 0.02 | 5 × 0.004 ÷ 1 = 0.02 |
| 0.011 | 0.055 | 4 × 0.011 = 0.044 | 5 × 0.011 ÷ 2 = 0.0275 |
| 0.02 | 0.1 | 3 × 0.02 = 0.06 | 5 × 0.02 ÷ 3 ≈ 0.0333 |
| 0.045 | 0.225 | 2 × 0.045 = 0.09 | 5 × 0.045 ÷ 4 = 0.05625 |
| 0.3 | 1 (1.5) | 1 × 0.3 = 0.3 | 5 × 0.3 ÷ 5 = 0.3 |
이 예에서는 누적 최댓값·최솟값을 쓰지 않아도 값이 이미 차례대로라 그대로입니다. 차례가 뒤집히는 자료에서는 누적을 해서 「순위가 뒤인데 보정된 p 가 더 작은」 일이 없게 맞춥니다. 굵은 것이 0.05 이하로, 본페로니 1개, 홀름 2개, BH 3개로 위와 같습니다. 파이썬에서는 statsmodels 로 같은 계산을 합니다.
from statsmodels.stats.multitest import multipletests
p = [0.004, 0.011, 0.02, 0.045, 0.3]
for method in ["bonferroni", "holm", "fdr_bh"]:
reject, adjusted, _, _ = multipletests(p, alpha=0.05, method=method)
print(method, reject.sum(), adjusted)
# 발견 수: bonferroni 1, holm 2, fdr_bh 3. adjusted 는 위 표의 보정된 p
6. BH 절차를 한 단계씩
BH 는 「선 아래의 점」만 고르는 것이 아니라 「선 아래인 가장 뒤의 점까지」 고른다는 것이 헷갈리기 쉽습니다. 지어낸 세포 배양 실험에서 후보 물질 10개를 시험해 얻은 p값으로 절차를 한 줄씩 따라가 봅니다. p값은 고칠 수 있습니다.
| 순위 i | p | 임계값 (i ÷ m) × q | p ≤ 임계값? | 결과 |
|---|
p값을 쉼표로 나눠 2 ~ 20개 적고 칸을 벗어나면 바뀝니다. 0 과 1 사이의 숫자만 받습니다. q 는 0.05 로 둡니다. 표의 주황 밑줄이 k 위, 초록 바탕이 발견입니다.
해 볼 것. ① 처음 10개에서 「다음」을 네 번 누르면 ④ 단계에서 k = 4 입니다(p = 0.018 ≤ 0.02). ② 한 번 더 누르면 1 ~ 4위가 발견입니다. 그런데 3위의 0.016 은 자기 임계값 0.015 보다 큽니다. 뒤의 4위가 임계값 아래라서 함께 발견됩니다. 같은 값으로 본페로니(기준 0.005)와 홀름은 1개뿐이고, 보정 없이는 0.041 까지 5개입니다. ③ 칸에서 0.018 을 0.021 로 고치면 4위가 임계값을 넘어 k = 2 가 되고, 발견이 4개에서 2개로 줄어듭니다. 임계값 근처의 값 하나가 결과를 크게 바꿉니다. ④ 「손 예제 5개」를 누르면 5절의 계산이 나옵니다. k = 3 입니다.
7. 몰래 하는 다중 비교
검정을 여러 번 한 줄 모르고 하는 때가 많습니다. 아래는 모두 같은 문제입니다. 「유의할 때까지 다른 길을 가 보는 것」이라 p 해킹이라고도 부릅니다.
- 결과 변수 여러 개. 혈압, 콜레스테롤, 몸무게, 잠든 시간, 두통 횟수를 재고 「하나라도 유의하면 효과 있음」이라고 하면, 효과가 전혀 없어도 그렇게 말할 확률이 1 − 0.95^5 = 22.6% 입니다(결과들이 서로 따로라고 칠 때).
- 하위군 나누기. 전체로는 차이가 없을 때 남녀, 나이대, 지역으로 나눠 10개 하위군에서 따로 검정하면, 그 가운데 하나가 유의할 확률이 40.1% 입니다. 「50대 여성에게만 효과가 있었다」는 이런 식으로 나오기 쉽습니다.
- 분석 방법 고르기. 튀는 값을 뺄지, 어떤 검정을 쓸지, 무엇을 함께 보정할지를 결과를 보며 고르면 고른 만큼 검정을 여러 번 한 것과 같습니다.
- 자료를 모으며 들여다보다 멈추기. 사람을 조금씩 모으며 그때마다 검정하고, 유의하면 그만 모읍니다. 아래 실험에서 봅니다.
약과 위약에 차이가 전혀 없는 지어낸 실험을 2,000번 합니다. 들여다볼 때마다 두 집단에 10명씩 더 모으고, 그때까지 모은 자료 전체로 검정합니다. z 가 주황 점선(±1.96) 밖으로 나가면 p < 0.05 입니다. 「유의하면 바로 멈춘다」는 규칙이라 주황 선은 거기서 끝납니다. 그림에는 앞의 40개만 그립니다.
해 볼 것. ① 처음(10번 들여다봄)에는 2,000번 가운데 20.0% 가 「효과 있음」으로 끝납니다. 같은 자료를 끝에서 한 번만 검정하면 5.5% 입니다. 그림의 40개 가운데 8개가 멈췄습니다. ② 들여다보는 횟수를 1 로 두면 5.1%, 2 면 8.8%, 3 이면 11.6%, 5 면 14.9%, 20 이면 25.8% 입니다. 볼 때마다 「이번에 우연히 경계를 넘을」 기회가 하나씩 더 생깁니다. 다만 앞뒤의 자료가 겹쳐 서로 얽혀 있어서, 서로 따로인 검정 20개(64.2%)만큼 커지지는 않습니다.
그렇다고 중간에 보지 말라는 뜻은 아닙니다. 임상시험은 안전을 위해 중간 분석을 하는 일이 많습니다. 그때는 몇 번, 언제 볼지를 미리 정하고, 볼 때마다 기준을 엄하게 나눠 써서 전체의 1종 오류율을 α 로 묶습니다(포콕, 오브라이언-플레밍 같은 경계). 임상시험 설계 쪽에서 더 봅니다.
8. 언제 보정하고, 무엇을 쓰나
미리 정한 주된 결과 하나는 보정하지 않는다
실험을 시작하기 전에 「이 약은 8주 뒤의 혈압을 낮추는가」처럼 주된 결과(1차 평가변수) 하나를 정하고 그것만으로 효과를 말한다면, 검정은 하나입니다. 보정할 것이 없습니다. 이 약속을 믿게 하려고, 시작 전에 주된 결과와 분석 방법을 공개해 두는 사전 등록을 합니다. 결과를 본 뒤에 주된 결과를 바꿨는지 누구나 비교할 수 있습니다. 나머지 결과(부차 결과)는 보정해서 보거나, 「탐색한 결과」라고 밝혀 적고 다음 연구에서 다시 확인합니다.
확인이면 FWER, 탐색이면 FDR
- 확인하는 연구. 임상시험의 주된 결과가 여럿이거나, 여러 용량을 대조군과 비교할 때처럼 틀린 주장 하나가 큰 결과를 낳는 곳에서는 FWER 을 묶습니다(본페로니, 홀름). 중요한 것부터 순서를 정해 앞의 것이 유의할 때만 다음 것을 검정하는 방법도 씁니다.
- 훑어보는 연구. 유전자 수천 개 가운데 병과 관련된 것을 찾거나, 단백질 수백 개를 훑을 때는 FWER 이 너무 엄해 거의 아무것도 찾지 못합니다. 이때는 FDR 을 묶고(BH), 찾은 목록을 다음 실험으로 다시 확인합니다.
- 유전체 전체 연구의 5×10⁻⁸. 사람 유전체 전체에서 흔한 변이를 훑는 연구는 서로 따로 움직이는 검정을 백만 개쯤으로 보고, 본페로니처럼 0.05 ÷ 1,000,000 = 5×10⁻⁸ 을 기준으로 씁니다.
보정의 값: 검정력이 준다
기준을 낮추면 1종 오류는 줄지만 진짜 효과도 놓치기 쉬워집니다. 검정력(진짜 효과를 찾을 확률)이 줄어드는 것입니다. 4절 실험의 처음 설정(d = 1, 집단마다 20명)에서 검정 하나를 0.05 로 보면 검정력이 약 89% 인데, 검정 50개를 본페로니로 보정해 기준이 0.05 ÷ 50 = 0.001 이 되면 약 45% 로 반이 됩니다(되풀이 표의 88.5%, 44.8%). 같은 89% 를 지키려면 집단마다 20명이 아니라 41명이 필요합니다. 검정을 여러 개 할 계획이면 표본 크기를 정할 때부터 보정한 기준으로 셉니다. 검정을 줄이는 것, 곧 주된 결과를 하나로 정하는 것이 가장 값싼 방법입니다.
분산분석 뒤의 사후 비교
세 집단 이상의 평균을 분산분석으로 비교하면 「어딘가 다르다」까지만 알 수 있습니다. 어느 쌍이 다른지 보려고 쌍마다 검정하면 다중 비교가 됩니다. 집단이 4개면 쌍은 4 × 3 ÷ 2 = 6개입니다. 이를 위한 방법이 따로 있습니다.
- 튜키(Tukey HSD). 모든 쌍을 비교할 때. 쌍 비교만 한다면 본페로니보다 덜 엄합니다.
- 던넷(Dunnett). 여러 집단을 대조군 하나와만 비교할 때(약 세 용량 대 위약).
- 셰페(Scheffé). 쌍뿐 아니라 「두 용량의 평균 대 위약」처럼 섞은 비교를 자료를 보고 정할 때. 쌍만 볼 때는 튜키보다 엄합니다.
본페로니와 홀름도 여기에 쓸 수 있습니다.
9. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 검정이 늘면 1종 오류를 범할 기회가 는다 | 서로 따로인 검정 m 개면 1 − (1 − α)^m. 어떻게 얽혀 있든 많아야 m × α |
| 본페로니 ⊆ 홀름 ⊆ BH ⊆ 보정 없음 | 같은 α = q 에서 발견 목록은 늘 이 차례로 커진다. 거짓 발견이 섞일 기회도 같은 차례로 커진다 |
| m = 1 이면 모두 같다 | 검정이 하나면 본페로니, 홀름, BH 모두 「p ≤ α」 그대로다 |
| 보정하면 검정력이 준다 | 엄한 기준은 1종 오류와 함께 진짜도 놓치게 한다. 그만큼 사람을 더 모아야 한다 |
| 무엇을 「가족」으로 묶을지는 미리 정한다 | 보정의 결과가 m 에 달려 있다. 결과를 보고 가족을 바꾸면 그것도 고르기다 |
어디에 쓰나
- 임상시험. 주된 결과가 여럿일 때, 여러 용량이나 여러 집단을 대조군과 비교할 때, 중간 분석을 할 때.
- 유전체와 유전자 발현. 유전자 수천 ~ 수백만 개를 한꺼번에 검정합니다. 탐색에는 FDR, 유전체 전체 연구의 최종 판정에는 5×10⁻⁸ 같은 엄한 기준을 씁니다.
- 뇌 영상. 뇌를 수만 개의 작은 칸으로 나눠 칸마다 검정하므로, FWER 이나 FDR 로 보정합니다.
- 웹 서비스의 A/B 테스트. 지표를 여러 개 보거나, 안을 여러 개 동시에 내거나, 결과를 매일 들여다보다 유의할 때 멈추면 같은 문제가 생깁니다. 주된 지표 하나와 실험 기간을 미리 정합니다.
- 머신러닝의 모델 고르기. 모델이나 설정을 많이 시험해 같은 시험 자료에서 가장 좋은 것을 고르면, 그 점수는 우연히 좋게 나온 쪽으로 기웁니다. 고르는 데 쓰지 않은 자료로 다시 재는 까닭입니다(과적합).
자주 묻는 것
다중 비교 문제가 뭔가요?
검정을 여러 번 하면, 효과가 없어도 우연히 「유의」가 나올 기회가 늘어나는 문제입니다. 검정 하나에서 1종 오류를 범할 확률이 5% 라도, 서로 따로인 검정 20개에서 적어도 하나가 유의할 확률은 약 64% 입니다.
본페로니 보정은 어떻게 하나요?
기준을 α ÷ m 으로 낮춥니다. 검정이 20개이고 α = 0.05 이면 p ≤ 0.0025 인 것만 유의로 봅니다. 같은 일을 p값 쪽에서 하면, p값에 m 을 곱해(1 을 넘으면 1) 0.05 와 비교합니다.
FWER 과 FDR 은 무엇이 다른가요?
FWER(가족 오류율)은 거짓 발견이 하나라도 나올 확률이고, FDR(거짓 발견율)은 발견이라고 한 것 가운데 거짓 발견이 차지하는 비율의 평균입니다. 틀린 것이 하나도 없어야 하는 확인 연구에는 FWER 을, 많이 찾고 나중에 다시 확인하는 탐색에는 FDR 을 씁니다.
검정을 여러 번 하면 늘 보정해야 하나요?
아닙니다. 미리 정해 둔 주된 결과 하나를 검정할 때는 검정이 하나라서 보정하지 않습니다. 결과를 보고 고른 비교나, 여러 결과 가운데 하나라도 유의하면 효과가 있다고 말하려는 경우에 보정합니다.
홀름은 본페로니보다 늘 나은가요?
FWER 을 α 로 묶는다는 같은 약속을 지키면서, 본페로니가 찾는 것은 늘 모두 찾고 더 찾을 때도 있습니다. 그래서 본페로니를 쓸 자리라면 홀름을 써도 잃는 것이 없습니다. 다만 순위마다 기준이 달라서 설명이 조금 더 필요합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 검정을 여러 번 하기 | 다중 비교, 다중 검정(multiple comparisons, multiple testing) |
| 효과가 없는데 「유의」라고 함 | 1종 오류, 거짓 양성(type I error, false positive) |
| 놓친 것 | 2종 오류, 거짓 음성(type II error, false negative) |
| 「유의」라고 할 기준 α | 유의수준(significance level) |
| 같이 하는 검정 묶음 | 가족, 검정 가족(family of tests) |
| 거짓 발견이 하나라도 나올 확률 | 가족 오류율, 족별 오류율(family-wise error rate, FWER) |
| 발견 가운데 거짓 발견 비율의 평균 | 거짓 발견율(false discovery rate, FDR) |
| 한 번 얻은 목록의 거짓 발견 비율 | 거짓 발견 비율(false discovery proportion, FDP) |
| 기준을 고쳐 다시 낸 p | 보정된 p값(adjusted p-value) |
| 많아야 m × α | 합집합 한계, 불의 부등식(union bound, Boole's inequality) |
| 본페로니 / 홀름 / BH | 본페로니 보정(Bonferroni correction) / 홀름 방법(Holm's step-down procedure) / 벤저미니-호크버그 방법(Benjamini-Hochberg procedure) |
| 앞에서부터 보다 멈춤 / 뒤에서부터 찾음 | 단계 하강(step-down) / 단계 상승(step-up) |
| 진짜 효과를 찾을 확률 | 검정력(power) |
| 효과 크기 d | 코언의 d(Cohen's d), 표준화 평균 차이 |
| 미리 정한 주된 결과 | 1차 평가변수, 주요 결과변수(primary endpoint, primary outcome) |
| 미리 공개해 두기 | 사전 등록(preregistration) |
| 유의할 때까지 다른 길을 가 보기 | p 해킹(p-hacking) |
| 중간에 들여다보기 | 중간 분석(interim analysis), 피킹(peeking) |
| 분산분석 뒤의 쌍 비교 | 사후 비교(post hoc comparison) |
| 확인하는 연구 / 훑어보는 연구 | 확증적 연구(confirmatory) / 탐색적 연구(exploratory) |
출처
- Yoav Benjamini, Yosef Hochberg, Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing, Journal of the Royal Statistical Society, Series B (1995). FDR 의 정의와 BH 절차.
- Sture Holm, A Simple Sequentially Rejective Multiple Test Procedure, Scandinavian Journal of Statistics (1979). 홀름 방법.
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.4.7 How can we make multiple comparisons? 튜키, 셰페, 본페로니.
- statsmodels 문서: multipletests.
- Abramowitz, Stegun, Handbook of Mathematical Functions, 식 7.1.26(실험의 p값을 셀 때 쓴 오차함수 근사). erf 의 정의는 NIST DLMF §7.2.