표본 크기 계산: 몇 명이 필요한가
새 혈압약이 정말 혈압을 더 낮추는지 보려면 몇 명에게 시험해야 할까요? 너무 적으면 있는 효과를 놓치고, 너무 많으면 사람과 돈을 낭비합니다. 실험을 시작하기 전에 네 가지를 정하면 답이 나옵니다. 막대를 움직이며 무엇이 사람 수를 얼마나 바꾸는지 봅니다.
한 줄 답. 실험을 시작하기 전에 탐지할 차이(δ, 찾고 싶은 가장 작은 효과), 표준편차(σ), 유의수준(α, 헛짚어도 되는 확률), 검정력(있는 효과를 잡아낼 확률) 네 가지를 정하면 필요한 사람 수가 나옵니다. 두 군의 평균을 비교할 때는 군마다 n = 2 × (z_α/2 + z_β)² × σ² ÷ δ² 입니다. 효과가 반으로 작아지면 사람은 네 배 필요합니다.
이 쪽의 약, 혈압, 사건 비율, 설문은 모두 개념을 보이려고 지어낸 것입니다. 실제 약이나 연구의 자료가 아니고, 이 쪽은 통계 개념만 설명합니다.
| 바꾼 값 | 낮추면 | 지금 | 높이면 |
|---|
지어낸 혈압약이 수축기 혈압을 대조약보다 δ 만큼 더 낮추는지 비교하는 실험입니다. 그림의 곡선은 「두 군의 평균을 내어 뺀 차이」가 실험을 되풀이할 때마다 어떻게 흩어지는지입니다. 초록은 효과가 없을 때(귀무), 파랑은 효과가 δ 일 때(대립)입니다. 주황 점선이 「효과 있음」을 말하는 임계값(critical value)이고, 주황 칠은 효과가 없는데 임계값을 넘는 확률 α, 파란 칠은 효과가 있을 때 넘는 확률(검정력), 보라 칠은 넘지 못해 놓칠 확률(2종 오류율) β 입니다. 두 곡선은 꼭대기 높이를 같게 맞춰 그렸습니다. 두 곡선과 α, β 의 뜻은 1종·2종 오류와 검정력 쪽에서 자세히 다룹니다. 아래 표는 값 하나만 조금 바꿨을 때 전체 사람 수가 어떻게 바뀌는지 보여 줍니다.
해 볼 것. ① 처음 값(δ 5, σ 10, α 0.05 양쪽, 검정력 80%)이면 군마다 63명, 모두 126명이고, 이 n 에서 검정력은 80.1% 입니다. ② 「효과를 반으로」를 누르면 δ 가 2.5 가 되고 군마다 252명, 모두 504명입니다. 꼭 네 배입니다. 그림에서 두 곡선이 가까워지는 만큼 폭도 반으로 좁아집니다. ③ 「처음 값」으로 돌아가 σ 를 20 으로 올리면 역시 504명입니다. 표준편차가 두 배면 사람은 네 배입니다. 그런데 그림은 처음과 같습니다. 사람 수가 그만큼 늘어 곡선의 폭이 같아졌기 때문입니다. ④ 「한쪽」을 누르면 50명씩 100명, 「2:1」을 누르면 치료 95명, 대조 48명, 모두 143명입니다. 배정 비율을 다르게 하면 전체는 늘어납니다. ⑤ 표를 보면 δ 를 10% 줄일 때 156명(+24%), σ 를 10% 늘릴 때 152명(+21%)으로 가장 크게 바뀝니다. α 를 0.04 로 줄이면 136명(+8%), 검정력을 85% 로 올리면 144명(+14%) 입니다. δ 와 σ 는 식에 제곱으로 들어갑니다.
1. 표본 크기 계산이란, 왜 미리 하나
표본 크기 계산은 실험을 시작하기 전에 「이만한 효과가 있다면 이만한 확률로 잡아내겠다」는 목표를 세우고, 그 목표에 맞는 사람(또는 동물, 세포 접시, 시료)의 수를 정하는 일입니다. 책에서는 검정력 분석이라고도 부릅니다.
왜 미리 계산할까요? 사람 수가 정해지면 실험의 성패도 대부분 정해지기 때문입니다.
- 너무 적으면 있는 효과도 「유의하지 않음」으로 끝나기 쉽습니다. 참여한 사람들은 시간과 몸을 내주었는데 답을 얻지 못합니다. 게다가 사람이 모자란 실험에서 우연히 유의하게 나온 결과는 효과를 부풀리기 쉽습니다(7절).
- 너무 많으면 필요 이상으로 사람을 모으고 돈과 시간을 씁니다. 시험하는 약이 효과가 없거나 해롭다면, 답을 얻는 데 필요한 것보다 많은 사람을 그 위험에 놓게 됩니다.
그래서 임상시험 지침(ICH E9)은 「시험의 사람 수는 묻는 질문에 믿을 만한 답을 줄 만큼 늘 커야 한다」고 적고, 표본 크기를 계산한 방법과 거기에 넣은 값(분산, 평균, 비율, 찾을 차이)과 그 근거를 계획서에 적게 합니다.
2. 네 가지 입력: 무엇이고 어디서 얻나
| 입력 | 쉬운 말 | 어디서 정하나 | 틀리기 쉬운 점 |
|---|---|---|---|
| 찾을 효과 δ | 놓치고 싶지 않은 가장 작은 차이 | 「이만큼은 되어야 쓸모가 있다」는 가장 작은 차이. 그 분야에서 의미 있다고 보는 변화의 크기로 정한다 | 앞선 작은 연구에서 본 큰 효과를 그대로 넣으면 사람이 모자라게 나온다 |
| 표준편차 σ | 사람마다 값이 얼마나 다른가(표준편차) | 앞선 연구의 자료, 작게 먼저 해 보는 예비 연구 | 작게 잡으면 사람이 모자란다. 확신이 없으면 몇 가지 값으로 계산해 본다 |
| α | 효과가 없는데 「있다」고 헛짚을 확률 | 관례로 5%(양쪽) | 결과를 여러 개 보면 나눠야 한다(9절) |
| 검정력 | 효과가 δ 만큼 있을 때 「있다」고 잡아낼 확률. 1 − β | 관례로 80% 또는 90% | β = 1 − 검정력이 놓칠 확률이다 |
찾을 효과는 「기대하는 효과」가 아니라 「의미 있는 가장 작은 효과」로 정합니다. 앞선 연구에서 본 큰 효과를 그대로 쓰면 안 되는 까닭이 있습니다. 작은 연구는 결과가 크게 흔들리는데, 그 가운데 효과가 크게 나와 유의했던 것이 눈에 띄고 다음 연구의 근거가 되기 쉽습니다. 그렇게 고른 효과는 참값보다 큰 쪽으로 치우쳐 있습니다(7절의 시뮬레이션에서 직접 봅니다). 임상시험 지침(ICH E9)도 찾을 차이를 「환자를 돌보는 데 의미가 있는 가장 작은 효과」나, 그보다 클 때 「새 치료에 기대하는 효과」에 대한 판단으로 정한다고 적습니다.
표준편차는 앞선 자료나 예비 연구에서 얻습니다. 확신이 없으면 여러 값으로 계산해 보고 사람 수가 얼마나 흔들리는지 봅니다. 위 실험의 표가 그 일을 합니다. 지침도 가정이 조금 틀렸을 때의 사람 수를 몇 가지 함께 내어 보라고 권합니다.
δ 와 σ 는 따로 들어가지 않고 둘의 비 δ ÷ σ 로만 들어갑니다. 이 비를 효과 크기(Cohen 의 d)라고 부릅니다. 혈압 5 mmHg 차이와 표준편차 10 mmHg 는 d = 0.5 입니다. 5절의 표가 d 로 정리한 것입니다.
이렇게 읽으면 틀린다. 「검정력 80%」는 「이 약이 효과가 있을 확률이 80%」라는 뜻이 아닙니다. 「효과가 정말 δ 만큼 있다면, 이런 실험을 여러 번 했을 때 80% 가 유의하게 나온다」는 뜻입니다. 효과가 δ 보다 작으면 검정력도 그보다 낮습니다. 또 「유의하지 않음」은 「효과 없음」의 증거가 아닙니다. 사람이 모자라면 있는 효과도 유의하지 않게 나옵니다. p값의 뜻은 가설검정과 p값 쪽에 있습니다.
3. 식이 만들어지는 과정
두 군(치료, 대조)에서 n 명씩 재어 평균을 내고 그 차이를 봅니다. 실험을 다시 하면 차이는 매번 조금씩 다르게 나옵니다. 그 흩어진 폭이 표준오차 SE 입니다. 군 하나의 평균은 σ ÷ √n 만큼 흩어지고(표본과 표집분포), 서로 영향을 주지 않는 두 값의 차이는 분산을 더하므로 차이의 분산은 σ² ÷ n + σ² ÷ n = 2σ² ÷ n, 표준오차는 SE = σ × √(2 ÷ n) 입니다. 아래는 손 예제(δ 5, σ 10, α 5% 양쪽, 검정력 80%)로 식을 한 단계씩 조립합니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림에 그 조각의 길이가 나타나고, 아래에 까닭이 나옵니다. n 막대는 어느 단계에서나 움직일 수 있습니다. n 을 늘리면 두 곡선이 좁아지고 괄호들이 짧아집니다.
- 두 곡선과 δ. 효과가 없다면 차이는 0 둘레에, 효과가 δ = 5 라면 5 둘레에 흩어집니다. 두 곡선의 가운데 사이가 δ 이고, 곡선의 폭이 SE 입니다.
- 임계값:
z_α/2 × SE. 차이가 귀무의 가운데에서 표준오차의 z_α/2 배보다 멀리 나가면 「효과 있음」이라고 합니다. z_α/2 는 표준정규분포에서 오른쪽 넓이가 α/2 인 자리라서, 효과가 없을 때 이 선을 넘을 확률은 양쪽을 더해 α 입니다. α = 5% 면 z_α/2 = 1.96, n = 63 이면 임계값은 1.96 × 1.78 = 3.49 입니다. - 검정력:
+ z_β × SE. 효과가 δ 일 때 차이가 임계값을 넘을 확률이 검정력입니다. 80% 를 채우려면 대립 곡선의 80% 가 임계값 너머에 있어야 하고, 그러려면 대립의 가운데가 임계값에서 표준오차의 z_β 배만큼 더 가 있어야 합니다. z_β 는 오른쪽 넓이가 β = 0.2 인 자리 0.84 입니다(책에 따라 z₁₋β 로 적습니다). n = 63 이면 0.84 × 1.78 = 1.50 입니다. - 두 길이를 잇기:
δ = (z_α/2 + z_β) × SE. 귀무의 가운데 → 임계값 → 대립의 가운데로 두 길이를 이어 붙이면 δ 가 됩니다. 3.49 + 1.50 = 4.99 ≈ 5 입니다. n 이 작으면 SE 가 커서 이은 길이가 δ 보다 길어집니다(검정력이 모자람). n 이 크면 짧아집니다(사람이 남음). - SE 넣기:
δ = (z_α/2 + z_β) × σ × √(2 ÷ n). SE 는 사람 수로 정해집니다. 여기서 n 은 군 하나의 사람 수입니다. - n 으로 풀기:
n = 2 × (z_α/2 + z_β)² × σ² ÷ δ². 양쪽을 제곱하면δ² = (z_α/2 + z_β)² × σ² × 2 ÷ n이고, n 과 δ² 의 자리를 바꾸면 식이 완성됩니다. δ 가 분모에서 제곱이라 효과가 반이면 사람은 네 배입니다.
양쪽 검정에서는 대립 곡선이 왼쪽 임계값(−3.49) 밖으로 나가는 작은 넓이도 검정력에 들어가지만, 대개 0 에 가까워서 식을 만들 때는 뺍니다. 실험의 검정력 숫자에는 이 넓이도 넣었습니다. 한쪽 검정이면 z_α/2 자리에 z_α(5% 면 1.645)를 씁니다.
해 볼 것. ① 처음(n = 63)에는 SE 1.78, 두 길이 3.49 + 1.50 = 4.99 로 δ = 5 와 맞습니다. 검정력은 80.1% 입니다. ② n 을 30 으로 줄이면 SE 2.58, 이은 길이 7.23 으로 δ 보다 깁니다. 검정력은 49.1% 로 떨어집니다. ③ n 을 100 으로 늘리면 SE 1.41, 이은 길이 3.96 으로 δ 보다 짧고, 검정력은 94.2% 입니다. ④ 「딱 맞는 n(63)」을 누르면 두 길이가 다시 δ 의 끝에 닿습니다.
4. 손으로 풀어 보기
찾을 효과 δ = 5 mmHg, 표준편차 σ = 10 mmHg, α = 5% 양쪽, 검정력 80%, 두 군 1:1 입니다. 맨 위 실험의 처음 값과 같습니다.
- z_α/2. 양쪽 5% 라서 한쪽 꼬리가 2.5% 입니다. 오른쪽 넓이가 0.025 인 자리는
z_α/2 = 1.9600. - z_β. 검정력 80% 면 β = 0.2 이고, 오른쪽 넓이가 0.2 인 자리는
z_β = 0.8416. - 더해서 제곱.
1.9600 + 0.8416 = 2.8016,2.8016² = 7.8489. - 표준편차와 효과.
σ² ÷ δ² = 100 ÷ 25 = 4.2 × 7.8489 × 4 = 62.79. - 올림. 사람은 쪼갤 수 없으니 늘 올립니다. 군마다 63명, 모두 126명.
- 확인. n = 63 이면
SE = 10 × √(2 ÷ 63) = 1.78, 임계값은1.96 × 1.78 = 3.49, 대립의 가운데는 임계값에서(5 − 3.49) ÷ 1.78 = 0.85표준오차만큼 너머에 있습니다. 표준정규분포에서 0.85 보다 작은 쪽의 넓이가 약 0.80 이라 검정력은 80.1% 입니다.
t 분포로 정확히 하면 64명. 이 식은 표준편차 σ 를 안다고 보는 정규 근사입니다. 실제로는 σ 를 표본에서 추정해 t 검정을 하므로 임계값이 조금 더 바깥(자유도 124 의 t 분포에서 1.979)에 놓이고, 검정력이 조금 낮아집니다. 이 쪽에서 파이썬으로 t 분포를 직접 적분해 보니, 군마다 63명이면 검정력이 79.5%, 64명이면 80.1% 였습니다. 그래서 t 분포로 정확히 계산하면 64명이 나옵니다. 차이는 한두 명이지만, 사람이 적을 때는 더 벌어집니다.
# 파이썬 표준 라이브러리만으로: 손 예제
from math import ceil
from statistics import NormalDist
z = NormalDist().inv_cdf
n = 2 * (z(0.975) + z(0.8)) ** 2 * 10 ** 2 / 5 ** 2 # 62.79...
ceil(n) # 63 (군마다)
5. 흔한 값의 표
효과 크기 d = δ ÷ σ 에 따른 군마다 사람 수입니다. α 5% 양쪽, 두 군 1:1. 「식」은 이 쪽의 정규 근사 식으로, 「t 분포」는 파이썬으로 t 분포를 적분해 검정력이 목표에 처음 닿는 n 을 찾은 값입니다.
| 효과 크기 d | 검정력 80%: 식 | 80%: t 분포 | 검정력 90%: 식 | 90%: t 분포 |
|---|---|---|---|---|
| 0.2 | 393 | 394 | 526 | 527 |
| 0.5 | 63 | 64 | 85 | 86 |
| 0.8 | 25 | 26 | 33 | 34 |
Cohen(1988)은 d = 0.2, 0.5, 0.8 을 각각 작은, 중간, 큰 효과라고 불렀습니다. 다른 근거가 없을 때 쓰라고 내놓은 대략의 기준입니다. d 가 0.8 에서 0.2 로 4분의 1 이 되면 사람은 16배(25명 → 393명)가 됩니다. 표의 이름표(작다, 중간)를 보고 δ 를 고르지 말고, 실제 단위(혈압이면 mmHg)로 「이만큼이면 의미가 있다」를 먼저 정한 뒤 d 로 바꿉니다.
6. 꼭 알아야 할 성질
| 바꾸면 | 사람 수(손 예제의 126명에서) | 까닭 |
|---|---|---|
| 찾을 효과 δ 를 반으로 | 4배(504명) | n 은 1 ÷ δ² 에 비례한다. 곡선 사이가 반이면 곡선 폭도 반이어야 하고, 폭은 √n 에 반비례한다 |
| 표준편차 σ 를 두 배로 | 4배(504명) | n 은 σ² 에 비례한다. 중요한 것은 δ ÷ σ 하나다 |
| α 를 5% 에서 1% 로 | 1.49배(188명) | z_α/2 가 1.96 에서 2.58 로. 임계값이 바깥으로 간다 |
| 검정력을 80% 에서 90% 로 | 1.35배(170명) | z_β 가 0.84 에서 1.28 로 |
| 양쪽 검정을 한쪽으로 | 0.79배(100명) | z 가 1.96 에서 1.645 로. 반대 방향의 효과는 보지 않기로 실험 전에 정했을 때만 쓴다 |
| 두 군을 2:1 로 | 1.13배(143명) | 전체 사람 수가 같다면 1:1 일 때 표준오차가 가장 작다 |
7. 정말 그만큼이면 되나: 시뮬레이션
식이 맞는지 직접 실험해 봅니다. 지어낸 두 군(대조 평균 140 mmHg, 치료 평균 135 mmHg, 둘 다 표준편차 10)에서 n 명씩 뽑아 t 검정(두 군의 분산을 합쳐 쓰는 것, 양쪽 5%)을 하는 실험을 1,000번 합니다. 유의하게 나온 비율이 곧 그 n 의 검정력입니다.
막대 하나는 「두 군 평균의 차이」가 그 칸에 들어간 실험의 수입니다. 그림 밖(−10 보다 작거나 20 보다 큰 것)은 양 끝 칸에 모았습니다. 난수는 고정 시드(seed)로 만들어 같은 시드, 같은 n 이면 늘 같은 그림이 나옵니다. 시드를 바꾸면 다른 우연이 나옵니다.
해 볼 것. ① 처음(n = 63, 시드 1)에는 1,000번 가운데 790번(79.0%)이 유의합니다. 식(정규 근사)의 80.1% 보다 조금 낮은데, 실험을 1,000번만 해서 생기는 흔들림(표준편차로 1%p 남짓)에 t 검정의 몫(정확히는 79.5%)이 겹친 것입니다. 시드를 2, 3, 4, 5 로 바꾸면 809, 781, 805, 790번입니다. ② 「반으로: 32」를 누르면 541번(54.1%)으로 떨어집니다. 식은 51.6% 입니다. 효과가 정말 있어도 실험의 절반쯤은 놓칩니다. ③ 설명 줄의 마지막 숫자를 보세요. 유의하게 나온 실험만 모아 차이를 평균하면 n = 63 에서 5.64, n = 32 에서 6.88 mmHg 로 참값 5 보다 큽니다. 사람이 모자란 실험일수록 「유의하게 나온 결과」는 효과를 부풀립니다. 앞선 작은 연구의 효과를 그대로 δ 로 쓰면 안 되는 까닭입니다. ④ n 을 126 으로 올리면 976번(97.6%)입니다.
8. 두 비율을 비교할 때
결과가 숫자가 아니라 「일어났다, 안 일어났다」(사건이 일어난 사람의 비율)이면 σ 대신 비율에서 분산이 나옵니다. 비율이 p 인 사건의 분산은 p × (1 − p) 입니다. 대조군의 비율을 p₁, 치료군의 비율을 p₂ 라 하면 군마다 이렇게 계산합니다(정규 근사, 연속성 보정 없음).
n = (z_α/2 × √(2 × p̄ × (1 − p̄)) + z_β × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₁ − p₂)², p̄ = (p₁ + p₂) ÷ 2
모양은 3절의 식과 같습니다. 임계값은 「효과가 없어 두 비율이 같다」고 볼 때의 분산(p̄ 로 계산)으로, z_β 의 길이는 「효과가 있을 때」의 분산으로 잽니다. 비율 비교의 검정은 카이제곱 검정 쪽에 있습니다.
지어낸 예: 어떤 사건(예를 들어 1년 안의 재입원)이 대조군에서 30%, 치료군에서 20% 일어난다고 볼 때입니다. α 는 5% 양쪽으로 두었습니다. 세로축은 10배마다 같은 간격인 로그 척도입니다. 초록 곡선은 「같은 차이」(30% → 20% 라면 늘 10%p 낮게), 파란 곡선은 「같은 비」(늘 대조의 0.67배)를 두고 대조의 비율만 옮긴 것입니다.
해 볼 것. ① 처음(30% → 20%)에는 군마다 294명, 모두 588명입니다. ② 차이를 10%p 그대로 두면 대조 비율이 55% 일 때(55% → 45%) 392명으로 가장 많습니다. p × (1 − p) 가 50% 에서 가장 크기 때문입니다. 초록 곡선의 꼭대기가 그곳입니다. ③ 대조를 2%, 치료를 1% 로 두면(드문 사건을 반으로) 2,319명이 필요합니다. 대조 40%, 치료 20%(역시 반으로)는 82명입니다. 같은 「반으로 줄이기」라도 드문 사건은 28배쯤 더 듭니다. 차이가 1%p 뿐이기 때문입니다. 파란 곡선이 왼쪽으로 갈수록 가파르게 오르는 것이 이것입니다. ④ 30% → 20% 에서 검정력을 90% 로 올리면 392명입니다.
9. 현실의 보정: 탈락, 배정 비율, 여러 결과
식에서 나온 숫자는 「분석할 때 남아 있어야 할 사람 수」입니다. 실제로 모을 사람 수는 몇 가지 까닭으로 더 커집니다. 아래 표는 손 예제(126명)에서 출발해 보정을 한 줄씩 더합니다.
| 단계 | 치료 | 대조 | 전체 | 전체(막대) |
|---|
- 탈락. 연구 중간에 빠지는 사람(연락이 끊김, 그만둠)을 미리 더 모읍니다.
모을 수 = n ÷ (1 − 탈락률).n × (1 + 탈락률)은 모자랍니다. 63명이 남아야 하고 20% 가 빠질 것으로 보면 63 ÷ 0.8 = 78.75 → 79명입니다. 63 × 1.2 = 75.6 → 76명을 모으면 20% 가 빠진 뒤 60.8명만 남습니다. 이 보정은 빠지는 사람이 남는 사람과 비슷하다고 볼 때의 것입니다. 치료 때문에 빠진다면 사람을 늘려도 편향은 고쳐지지 않습니다(임상시험 설계). - 배정 비율을 다르게. 치료군에 더 많이 배정하고 싶을 때가 있습니다(더 많은 사람이 새 치료를 받게, 새 치료의 안전성 자료를 더 모으게). 전체 사람 수가 같으면 1:1 일 때 표준오차가 가장 작으므로, 다르게 나누면 전체가 늘어납니다. 2:1 이면 126명이 143명이 됩니다.
- 여러 결과. 주요 결과를 셋 보고 그 가운데 하나라도 유의하면 「효과 있음」이라고 할 생각이라면, 1종 오류를 범할 확률이 α 보다 커집니다. 가장 단순한 고침은 α 를 결과의 수로 나누는 것입니다(본페로니 보정, 다중 비교). α 가 작아지면 임계값이 바깥으로 가서 사람이 더 듭니다. 결과 셋이면 α = 5% ÷ 3 = 1.67%, z_α/2 = 2.39 라서 1:1 로도 군마다 63명이 84명이 됩니다.
해 볼 것. ① 처음(2:1, 결과 셋, 탈락 15%)에는 126 → 143 → 189 → 224명으로, 기본의 1.78배입니다. 마지막 줄은 치료 149명, 대조 75명입니다. ② 1:1, 결과 하나, 탈락 20% 로 두면 126 → 126 → 126 → 158명(군마다 79명)입니다. ③ 결과를 10개로 늘려 보세요. α 를 10 으로 나누는 대가가 큽니다.
10. 추정이 목표일 때: 신뢰구간의 폭
「차이가 있나」를 검정하는 것이 아니라 「얼마인가」를 추정하는 것이 목표일 때도 있습니다. 어른의 평균 혈압이 얼마인지, 설문에서 「예」라고 답할 사람의 비율이 얼마인지 같은 것입니다. 이때는 신뢰구간의 반폭(± 얼마)을 목표로 정합니다. 신뢰구간의 반폭은 z × σ ÷ √n 이므로, 이것을 원하는 반폭 E 와 같게 놓고 n 에 대해 풀면 됩니다.
평균: n = (z × σ ÷ E)²비율: n = z² × p × (1 − p) ÷ E²
z 는 신뢰수준에서 나옵니다(90% 1.645, 95% 1.96, 99% 2.576). 검정력은 들어가지 않습니다. 비율을 미리 모를 때는 p = 0.5 로 둡니다. p × (1 − p) 가 0.25 로 가장 커서 가장 넉넉한 답이 나옵니다.
해 볼 것. ① 처음(평균, 95%, σ 10, ±2 mmHg)에는 97명입니다. 반폭을 ±1 로 줄이면 385명, 네 배쯤입니다. ② 「비율」을 누르면 p 50%, ±3%p 에서 1,068명입니다. 거꾸로 1,000명에게 물은 설문의 오차 한계는 1.96 × √(0.25 ÷ 1000) = 0.031, 곧 ±3.1%p(95%)입니다. ±5%p 면 385명, 99% 로 올리면 1,844명, 90% 면 752명입니다. ③ p 를 10% 로 두면 ±3%p 에 385명입니다. 비율이 한쪽으로 치우치면 분산 p × (1 − p) 이 작아집니다.
이렇게 읽으면 틀린다. 「95% 신뢰구간」은 「참값이 이 구간 안에 있을 확률이 95%」가 아닙니다. 「이 방법으로 구간을 만들면 100번에 95번쯤 참값을 덮는다」는 뜻입니다. 또 이 계산은 우연에 따른 흔들림의 폭만 정합니다. 무작위로 뽑지 않은 사람들(답하고 싶은 사람만 답한 설문)이라면 사람을 아무리 늘려도 편향은 줄지 않습니다. 실제 구간의 폭은 표본에서 잰 표준편차에 따라 조금 달라집니다.
11. 설계와 검정이 바뀌면 식도 바뀐다
지금까지의 식은 「두 군을 따로 모아 평균이나 비율을 비교하는」 설계의 것입니다. 설계와 검정 방법이 다르면 식이 달라집니다. 네 입력(효과, 표준편차, α, 검정력)의 뜻은 같습니다.
- 짝지은 설계는 더 적게 듭니다. 같은 사람을 약 전후로 재거나(짝지은 설계), 한 사람이 두 약을 차례로 받으면(교차 설계) 사람 사이의 차이가 빠지고 「한 사람 안의 차이」의 표준편차 σ_d 만 남습니다. 두 번 잰 값의 상관이 ρ 이면
σ_d = σ × √(2 × (1 − ρ))이고, 필요한 사람 수는n = (z_α/2 + z_β)² × σ_d² ÷ δ²입니다. 손 예제에서 ρ = 0.5 면 σ_d = 10 이라 32명, ρ = 0.8 이면 13명입니다. 두 군으로는 126명이었습니다. 대신 전후 비교만으로는 시간이 지나며 생긴 변화와 약의 효과를 가를 수 없고, 교차 설계에는 앞 약의 효과가 남는 문제가 있습니다(반복 측정과 교차 설계). - 생존 분석은 사람 수가 아니라 사건 수가 정합니다. 재발이나 사망처럼 「언제 일어나나」를 볼 때 검정력을 정하는 것은 사건이 일어난 사람의 수입니다. 두 군 1:1 에서 위험비 HR 을 찾는 데 필요한 사건 수는 Schoenfeld(1983)의 식으로
사건 수 = 4 × (z_α/2 + z_β)² ÷ (ln HR)²입니다. HR = 0.7, α 5% 양쪽, 검정력 80% 면 247건입니다. 추적하는 동안 40% 에게 사건이 일어날 것으로 본다면 247 ÷ 0.4 ≈ 618명을 모아야 합니다. 추적 기간이 짧거나 사건이 드물면 사람이 훨씬 더 듭니다(생존 분석). - 군이 셋 이상이거나 다른 검정을 쓰면(분산분석, 비모수 검정, 회귀) 그 검정에 맞는 식이나 시뮬레이션으로 계산합니다. 7절처럼 「지어낸 자료로 실험을 여러 번 해 보는」 방법은 식이 없는 설계에도 쓸 수 있습니다.
12. 「5%」와 「80%」는 약속이다
α = 5% 와 검정력 80% 는 자연법칙이 아니라 사람들이 맞춘 약속입니다. Cohen(1988)은 다른 근거가 없을 때 검정력 80% 를 쓰자고 제안하면서, 이는 1종 오류(α 0.05)를 2종 오류(β 0.2)보다 네 배 무겁게 보는 셈이라고 설명했습니다. 임상시험 지침(ICH E9)도 α 는 관례로 5% 이하, 2종 오류율 β 는 10~20% 라고 적고, 다른 값이 맞는 경우도 있다고 덧붙입니다. 다시 하기 어렵거나 놓치면 손해가 큰 연구는 90% 를 씁니다.
약속이므로 고른 숫자와 그 까닭을 계획서에 적고, 숫자를 바꾸면 사람 수가 얼마나 바뀌는지(1절 실험의 표) 함께 봅니다. 결과를 본 뒤에 α 를 바꾸거나, 유의하게 나올 때까지 사람을 조금씩 더 모으며 검정을 되풀이하면 1종 오류를 범할 확률이 α 보다 커집니다. 중간에 결과를 보려면 몇 번, 어떤 기준으로 볼지 미리 정해 둡니다(임상시험 설계).
13. 끝나고 나서 계산하는 것은 의미가 없다
실험이 끝나고 「유의하지 않음」이 나오면, 얻은 효과 값을 넣어 검정력을 계산하고 「검정력이 낮아서 못 찾았다」고 말하고 싶어집니다. 이것을 사후 검정력(관측 검정력)이라고 부르는데, 새로 알려 주는 것이 없습니다. 이 값은 p값으로 정해지기 때문입니다. p값이 0.05 이면 관측 검정력은 늘 50% 쯤이고, 유의하지 않은 결과(p > 0.05)는 그보다 낮게 나옵니다. 「검정력이 낮았다」는 「유의하지 않았다」를 다시 말한 것일 뿐입니다(Hoenig, Heisey 2001).
끝난 뒤에는 신뢰구간을 봅니다. 예를 들어 혈압 차이의 95% 신뢰구간이 −1 ~ 7 mmHg 라면 「효과가 없을 수도, 7 mmHg 만큼 클 수도 있다. 이 실험으로는 가를 수 없다」고 읽습니다. 표본 크기는 실험 전에 정하는 것입니다.
어디에 쓰나
- 임상시험과 동물 실험의 계획. 계획서에 사람(동물) 수와 그 계산 근거를 적습니다. 필요한 것보다 적게도 많게도 쓰지 않으려는 것입니다(임상시험 설계, 무작위 배정과 대조군).
- A/B 시험. 웹 화면 두 가지의 전환율을 비교할 때도 같은 계산입니다. 지어낸 예로, 전환율 10% 를 11% 로 올리는 효과를 α 5% 양쪽, 검정력 80% 로 잡으려면 화면마다 14,751명이 필요합니다(8절의 식). 차이가 1%p 로 작아서 많이 듭니다. 12% 로 올리는 효과라면 3,841명입니다.
- 설문 조사. 「오차 한계 ±3%p」 같은 목표에서 응답자 수를 정합니다(10절).
- 실험실의 반복 수. 세포 접시나 측정을 몇 번 되풀이할지 정할 때, 앞선 측정의 표준편차로 같은 계산을 합니다.
자주 묻는 것
표본 크기는 어떻게 정하나요?
실험을 시작하기 전에 찾고 싶은 가장 작은 효과(탐지할 차이), 자료의 표준편차, 유의수준 α, 있는 효과를 잡아낼 확률(검정력) 네 가지를 정하고 식에 넣습니다. 두 군의 평균을 비교할 때는 군마다 n = 2 × (z_α/2 + z_β)² × σ² ÷ δ² 이고, 나온 값은 늘 올립니다.
효과가 반이면 왜 사람이 네 배 필요한가요?
두 곡선의 가운데 사이가 반으로 줄면, 곡선의 폭(표준오차)도 반으로 줄여야 전과 같은 만큼 갈라집니다. 표준오차는 사람 수의 제곱근에 반비례해서, 반으로 줄이려면 사람이 네 배 필요합니다.
왜 α 5%, 검정력 80% 를 쓰나요?
법칙이 아니라 관례, 곧 약속입니다. Cohen 은 다른 근거가 없을 때 검정력 80% 를 쓰자고 제안했고, 임상시험 지침(ICH E9)도 α 는 5% 이하, 2종 오류율은 10~20% 를 관례로 적습니다. 놓치면 손해가 큰 연구는 90% 를 씁니다. 고른 숫자와 그 까닭을 계획서에 적습니다.
실험이 끝난 뒤에 검정력을 계산하면 안 되나요?
끝난 뒤 얻은 효과 값으로 계산한 검정력은 p값으로 정해지는 값이라 새로 알려 주는 것이 없습니다. p값이 0.05 이면 늘 50% 쯤이 나옵니다. 끝난 뒤에는 신뢰구간을 보고 어느 크기의 효과까지 배제되는지 봅니다.
탈락을 생각하면 n × (1 + 탈락률) 인가요?
아닙니다. n ÷ (1 − 탈락률) 입니다. 63명이 남아야 하고 20% 가 빠질 것으로 보면 63 ÷ 0.8 = 78.75 라서 79명을 모읍니다. 63 × 1.2 = 75.6 이라 76명을 모으면, 20% 가 빠진 뒤 60.8명만 남아 63명에 못 미칩니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 몇 명이 필요한가 계산하기 | 표본 크기 계산(sample size calculation), 검정력 분석(power analysis) |
| 찾고 싶은 가장 작은 효과 δ | 탐지할 차이(difference to be detected), 최소 임상적 중요 차이(minimal clinically important difference) |
| 값이 퍼진 정도 σ | 표준편차(standard deviation) |
| δ ÷ σ | 효과 크기(effect size), Cohen 의 d |
| 헛짚을 확률 α | 유의수준(significance level), 1종 오류율(type I error rate) |
| 놓칠 확률 β | 2종 오류율(type II error rate) |
| 잡아낼 확률 1 − β | 검정력(statistical power) |
| 효과 없음 곡선 / 효과 있음 곡선 | 귀무가설(null hypothesis) / 대립가설(alternative hypothesis) 아래의 표집분포 |
| 「효과 있음」을 가르는 선 | 임계값(critical value), 기각역의 경계 |
| 두 평균 차이의 흩어짐 | 표준오차(standard error, SE) |
| z_α/2, z_β | 표준정규분포의 분위수(quantile). z_β 는 책에 따라 z₁₋β |
| 나눈 사람들 / 치료받는 쪽 / 비교하는 쪽 | 군(group, arm) / 치료군(treatment group) / 대조군(control group) |
| 두 쪽 사람 수의 비 | 배정 비율(allocation ratio) |
| 중간에 빠짐 | 탈락(dropout), 추적 소실(loss to follow-up) |
| α 를 결과의 수로 나누기 | 본페로니 보정(Bonferroni correction) |
| 신뢰구간의 반폭 | 오차 한계(margin of error) |
| 같은 사람을 두 번 재기 / 차례로 두 약 | 짝지은 설계(paired design) / 교차 설계(crossover design) |
| 사건 수, 위험의 비 | 사건 수(number of events), 위험비(hazard ratio, HR) |
| 끝나고 계산한 검정력 | 사후 검정력, 관측 검정력(post hoc power, observed power) |
| σ 를 안다고 본 계산 / σ 를 추정한 계산 | 정규 근사(normal approximation) / 비중심 t 분포(noncentral t distribution)를 쓴 계산 |
| 지어낸 자료로 여러 번 실험하기 | 몬테카를로 시뮬레이션(Monte Carlo simulation) |
출처
- Jacob Cohen, Statistical Power Analysis for the Behavioral Sciences, 2판(1988). 효과 크기 d 와 0.2·0.5·0.8 의 기준, 검정력 80% 관례.
- ICH, E9 Statistical Principles for Clinical Trials, 3.5절 Sample Size. 사람 수가 믿을 만한 답을 줄 만큼 커야 한다는 것, 찾을 차이를 정하는 법, α 와 β 의 관례, 계산 방법과 넣은 값의 근거를 계획서에 적는 것, 사건 수에서 사람 수로 옮기는 것.
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.2.2 Sample sizes required. 검정을 위한 표본 크기(z_α/2 + z_β)와 추정의 오차를 줄이기 위한 표본 크기.
- Joseph L. Fleiss, Bruce Levin, Myunghee Cho Paik, Statistical Methods for Rates and Proportions, 3판(2003). 두 비율을 비교할 때의 표본 크기.
- David Schoenfeld, Sample-Size Formula for the Proportional-Hazards Regression Model, Biometrics 39(2), 1983. 생존 분석의 사건 수.
- John M. Hoenig, Dennis M. Heisey, The Abuse of Power, The American Statistician 55(1), 2001. 사후 검정력이 p값으로 정해진다는 것.
- Abramowitz, Stegun, Handbook of Mathematical Functions, 식 7.1.26(오차함수의 근사)과 26.7.5(t 분포의 자리를 정규분포로 고치는 전개). 이 쪽의 실험이 쓰는 근사식.
- 파이썬 statistics.NormalDist 문서(inv_cdf).