표본 크기 계산: 몇 명이 필요한가

새 혈압약이 정말 혈압을 더 낮추는지 보려면 몇 명에게 시험해야 할까요? 너무 적으면 있는 효과를 놓치고, 너무 많으면 사람과 돈을 낭비합니다. 실험을 시작하기 전에 네 가지를 정하면 답이 나옵니다. 막대를 움직이며 무엇이 사람 수를 얼마나 바꾸는지 봅니다.

한 줄 답. 실험을 시작하기 전에 탐지할 차이(δ, 찾고 싶은 가장 작은 효과), 표준편차(σ), 유의수준(α, 헛짚어도 되는 확률), 검정력(있는 효과를 잡아낼 확률) 네 가지를 정하면 필요한 사람 수가 나옵니다. 두 군의 평균을 비교할 때는 군마다 n = 2 × (z_α/2 + z_β)² × σ² ÷ δ² 입니다. 효과가 반으로 작아지면 사람은 네 배 필요합니다.

이 쪽의 약, 혈압, 사건 비율, 설문은 모두 개념을 보이려고 지어낸 것입니다. 실제 약이나 연구의 자료가 아니고, 이 쪽은 통계 개념만 설명합니다.

바꾼 값낮추면지금높이면

지어낸 혈압약이 수축기 혈압을 대조약보다 δ 만큼 더 낮추는지 비교하는 실험입니다. 그림의 곡선은 「두 군의 평균을 내어 뺀 차이」가 실험을 되풀이할 때마다 어떻게 흩어지는지입니다. 초록은 효과가 없을 때(귀무), 파랑은 효과가 δ 일 때(대립)입니다. 주황 점선이 「효과 있음」을 말하는 임계값(critical value)이고, 주황 칠은 효과가 없는데 임계값을 넘는 확률 α, 파란 칠은 효과가 있을 때 넘는 확률(검정력), 보라 칠은 넘지 못해 놓칠 확률(2종 오류율) β 입니다. 두 곡선은 꼭대기 높이를 같게 맞춰 그렸습니다. 두 곡선과 α, β 의 뜻은 1종·2종 오류와 검정력 쪽에서 자세히 다룹니다. 아래 표는 값 하나만 조금 바꿨을 때 전체 사람 수가 어떻게 바뀌는지 보여 줍니다.

해 볼 것. ① 처음 값(δ 5, σ 10, α 0.05 양쪽, 검정력 80%)이면 군마다 63명, 모두 126명이고, 이 n 에서 검정력은 80.1% 입니다. ② 「효과를 반으로」를 누르면 δ 가 2.5 가 되고 군마다 252명, 모두 504명입니다. 꼭 네 배입니다. 그림에서 두 곡선이 가까워지는 만큼 폭도 반으로 좁아집니다. ③ 「처음 값」으로 돌아가 σ 를 20 으로 올리면 역시 504명입니다. 표준편차가 두 배면 사람은 네 배입니다. 그런데 그림은 처음과 같습니다. 사람 수가 그만큼 늘어 곡선의 폭이 같아졌기 때문입니다. ④ 「한쪽」을 누르면 50명씩 100명, 「2:1」을 누르면 치료 95명, 대조 48명, 모두 143명입니다. 배정 비율을 다르게 하면 전체는 늘어납니다. ⑤ 표를 보면 δ 를 10% 줄일 때 156명(+24%), σ 를 10% 늘릴 때 152명(+21%)으로 가장 크게 바뀝니다. α 를 0.04 로 줄이면 136명(+8%), 검정력을 85% 로 올리면 144명(+14%) 입니다. δ 와 σ 는 식에 제곱으로 들어갑니다.

1. 표본 크기 계산이란, 왜 미리 하나

표본 크기 계산은 실험을 시작하기 전에 「이만한 효과가 있다면 이만한 확률로 잡아내겠다」는 목표를 세우고, 그 목표에 맞는 사람(또는 동물, 세포 접시, 시료)의 수를 정하는 일입니다. 책에서는 검정력 분석이라고도 부릅니다.

왜 미리 계산할까요? 사람 수가 정해지면 실험의 성패도 대부분 정해지기 때문입니다.

그래서 임상시험 지침(ICH E9)은 「시험의 사람 수는 묻는 질문에 믿을 만한 답을 줄 만큼 늘 커야 한다」고 적고, 표본 크기를 계산한 방법과 거기에 넣은 값(분산, 평균, 비율, 찾을 차이)과 그 근거를 계획서에 적게 합니다.

2. 네 가지 입력: 무엇이고 어디서 얻나

입력쉬운 말어디서 정하나틀리기 쉬운 점
찾을 효과 δ놓치고 싶지 않은 가장 작은 차이「이만큼은 되어야 쓸모가 있다」는 가장 작은 차이. 그 분야에서 의미 있다고 보는 변화의 크기로 정한다앞선 작은 연구에서 본 큰 효과를 그대로 넣으면 사람이 모자라게 나온다
표준편차 σ사람마다 값이 얼마나 다른가(표준편차)앞선 연구의 자료, 작게 먼저 해 보는 예비 연구작게 잡으면 사람이 모자란다. 확신이 없으면 몇 가지 값으로 계산해 본다
α효과가 없는데 「있다」고 헛짚을 확률관례로 5%(양쪽)결과를 여러 개 보면 나눠야 한다(9절)
검정력효과가 δ 만큼 있을 때 「있다」고 잡아낼 확률. 1 − β관례로 80% 또는 90%β = 1 − 검정력이 놓칠 확률이다

찾을 효과는 「기대하는 효과」가 아니라 「의미 있는 가장 작은 효과」로 정합니다. 앞선 연구에서 본 큰 효과를 그대로 쓰면 안 되는 까닭이 있습니다. 작은 연구는 결과가 크게 흔들리는데, 그 가운데 효과가 크게 나와 유의했던 것이 눈에 띄고 다음 연구의 근거가 되기 쉽습니다. 그렇게 고른 효과는 참값보다 큰 쪽으로 치우쳐 있습니다(7절의 시뮬레이션에서 직접 봅니다). 임상시험 지침(ICH E9)도 찾을 차이를 「환자를 돌보는 데 의미가 있는 가장 작은 효과」나, 그보다 클 때 「새 치료에 기대하는 효과」에 대한 판단으로 정한다고 적습니다.

표준편차는 앞선 자료나 예비 연구에서 얻습니다. 확신이 없으면 여러 값으로 계산해 보고 사람 수가 얼마나 흔들리는지 봅니다. 위 실험의 표가 그 일을 합니다. 지침도 가정이 조금 틀렸을 때의 사람 수를 몇 가지 함께 내어 보라고 권합니다.

δ 와 σ 는 따로 들어가지 않고 둘의 비 δ ÷ σ 로만 들어갑니다. 이 비를 효과 크기(Cohen 의 d)라고 부릅니다. 혈압 5 mmHg 차이와 표준편차 10 mmHg 는 d = 0.5 입니다. 5절의 표가 d 로 정리한 것입니다.

이렇게 읽으면 틀린다. 「검정력 80%」는 「이 약이 효과가 있을 확률이 80%」라는 뜻이 아닙니다. 「효과가 정말 δ 만큼 있다면, 이런 실험을 여러 번 했을 때 80% 가 유의하게 나온다」는 뜻입니다. 효과가 δ 보다 작으면 검정력도 그보다 낮습니다. 또 「유의하지 않음」은 「효과 없음」의 증거가 아닙니다. 사람이 모자라면 있는 효과도 유의하지 않게 나옵니다. p값의 뜻은 가설검정과 p값 쪽에 있습니다.

3. 식이 만들어지는 과정

두 군(치료, 대조)에서 n 명씩 재어 평균을 내고 그 차이를 봅니다. 실험을 다시 하면 차이는 매번 조금씩 다르게 나옵니다. 그 흩어진 폭이 표준오차 SE 입니다. 군 하나의 평균은 σ ÷ √n 만큼 흩어지고(표본과 표집분포), 서로 영향을 주지 않는 두 값의 차이는 분산을 더하므로 차이의 분산은 σ² ÷ n + σ² ÷ n = 2σ² ÷ n, 표준오차는 SE = σ × √(2 ÷ n) 입니다. 아래는 손 예제(δ 5, σ 10, α 5% 양쪽, 검정력 80%)로 식을 한 단계씩 조립합니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림에 그 조각의 길이가 나타나고, 아래에 까닭이 나옵니다. n 막대는 어느 단계에서나 움직일 수 있습니다. n 을 늘리면 두 곡선이 좁아지고 괄호들이 짧아집니다.

  1. 두 곡선과 δ. 효과가 없다면 차이는 0 둘레에, 효과가 δ = 5 라면 5 둘레에 흩어집니다. 두 곡선의 가운데 사이가 δ 이고, 곡선의 폭이 SE 입니다.
  2. 임계값: z_α/2 × SE. 차이가 귀무의 가운데에서 표준오차의 z_α/2 배보다 멀리 나가면 「효과 있음」이라고 합니다. z_α/2 는 표준정규분포에서 오른쪽 넓이가 α/2 인 자리라서, 효과가 없을 때 이 선을 넘을 확률은 양쪽을 더해 α 입니다. α = 5% 면 z_α/2 = 1.96, n = 63 이면 임계값은 1.96 × 1.78 = 3.49 입니다.
  3. 검정력: + z_β × SE. 효과가 δ 일 때 차이가 임계값을 넘을 확률이 검정력입니다. 80% 를 채우려면 대립 곡선의 80% 가 임계값 너머에 있어야 하고, 그러려면 대립의 가운데가 임계값에서 표준오차의 z_β 배만큼 더 가 있어야 합니다. z_β 는 오른쪽 넓이가 β = 0.2 인 자리 0.84 입니다(책에 따라 z₁₋β 로 적습니다). n = 63 이면 0.84 × 1.78 = 1.50 입니다.
  4. 두 길이를 잇기: δ = (z_α/2 + z_β) × SE. 귀무의 가운데 → 임계값 → 대립의 가운데로 두 길이를 이어 붙이면 δ 가 됩니다. 3.49 + 1.50 = 4.99 ≈ 5 입니다. n 이 작으면 SE 가 커서 이은 길이가 δ 보다 길어집니다(검정력이 모자람). n 이 크면 짧아집니다(사람이 남음).
  5. SE 넣기: δ = (z_α/2 + z_β) × σ × √(2 ÷ n). SE 는 사람 수로 정해집니다. 여기서 n 은 군 하나의 사람 수입니다.
  6. n 으로 풀기: n = 2 × (z_α/2 + z_β)² × σ² ÷ δ². 양쪽을 제곱하면 δ² = (z_α/2 + z_β)² × σ² × 2 ÷ n 이고, n 과 δ² 의 자리를 바꾸면 식이 완성됩니다. δ 가 분모에서 제곱이라 효과가 반이면 사람은 네 배입니다.

양쪽 검정에서는 대립 곡선이 왼쪽 임계값(−3.49) 밖으로 나가는 작은 넓이도 검정력에 들어가지만, 대개 0 에 가까워서 식을 만들 때는 뺍니다. 실험의 검정력 숫자에는 이 넓이도 넣었습니다. 한쪽 검정이면 z_α/2 자리에 z_α(5% 면 1.645)를 씁니다.

해 볼 것. ① 처음(n = 63)에는 SE 1.78, 두 길이 3.49 + 1.50 = 4.99 로 δ = 5 와 맞습니다. 검정력은 80.1% 입니다. ② n 을 30 으로 줄이면 SE 2.58, 이은 길이 7.23 으로 δ 보다 깁니다. 검정력은 49.1% 로 떨어집니다. ③ n 을 100 으로 늘리면 SE 1.41, 이은 길이 3.96 으로 δ 보다 짧고, 검정력은 94.2% 입니다. ④ 「딱 맞는 n(63)」을 누르면 두 길이가 다시 δ 의 끝에 닿습니다.

4. 손으로 풀어 보기

찾을 효과 δ = 5 mmHg, 표준편차 σ = 10 mmHg, α = 5% 양쪽, 검정력 80%, 두 군 1:1 입니다. 맨 위 실험의 처음 값과 같습니다.

  1. z_α/2. 양쪽 5% 라서 한쪽 꼬리가 2.5% 입니다. 오른쪽 넓이가 0.025 인 자리는 z_α/2 = 1.9600.
  2. z_β. 검정력 80% 면 β = 0.2 이고, 오른쪽 넓이가 0.2 인 자리는 z_β = 0.8416.
  3. 더해서 제곱. 1.9600 + 0.8416 = 2.8016, 2.8016² = 7.8489.
  4. 표준편차와 효과. σ² ÷ δ² = 100 ÷ 25 = 4. 2 × 7.8489 × 4 = 62.79.
  5. 올림. 사람은 쪼갤 수 없으니 늘 올립니다. 군마다 63명, 모두 126명.
  6. 확인. n = 63 이면 SE = 10 × √(2 ÷ 63) = 1.78, 임계값은 1.96 × 1.78 = 3.49, 대립의 가운데는 임계값에서 (5 − 3.49) ÷ 1.78 = 0.85 표준오차만큼 너머에 있습니다. 표준정규분포에서 0.85 보다 작은 쪽의 넓이가 약 0.80 이라 검정력은 80.1% 입니다.

t 분포로 정확히 하면 64명. 이 식은 표준편차 σ 를 안다고 보는 정규 근사입니다. 실제로는 σ 를 표본에서 추정해 t 검정을 하므로 임계값이 조금 더 바깥(자유도 124 의 t 분포에서 1.979)에 놓이고, 검정력이 조금 낮아집니다. 이 쪽에서 파이썬으로 t 분포를 직접 적분해 보니, 군마다 63명이면 검정력이 79.5%, 64명이면 80.1% 였습니다. 그래서 t 분포로 정확히 계산하면 64명이 나옵니다. 차이는 한두 명이지만, 사람이 적을 때는 더 벌어집니다.

# 파이썬 표준 라이브러리만으로: 손 예제
from math import ceil
from statistics import NormalDist
z = NormalDist().inv_cdf
n = 2 * (z(0.975) + z(0.8)) ** 2 * 10 ** 2 / 5 ** 2   # 62.79...
ceil(n)                                                # 63 (군마다)

5. 흔한 값의 표

효과 크기 d = δ ÷ σ 에 따른 군마다 사람 수입니다. α 5% 양쪽, 두 군 1:1. 「식」은 이 쪽의 정규 근사 식으로, 「t 분포」는 파이썬으로 t 분포를 적분해 검정력이 목표에 처음 닿는 n 을 찾은 값입니다.

효과 크기 d검정력 80%: 식80%: t 분포검정력 90%: 식90%: t 분포
0.2393394526527
0.563648586
0.825263334

Cohen(1988)은 d = 0.2, 0.5, 0.8 을 각각 작은, 중간, 큰 효과라고 불렀습니다. 다른 근거가 없을 때 쓰라고 내놓은 대략의 기준입니다. d 가 0.8 에서 0.2 로 4분의 1 이 되면 사람은 16배(25명 → 393명)가 됩니다. 표의 이름표(작다, 중간)를 보고 δ 를 고르지 말고, 실제 단위(혈압이면 mmHg)로 「이만큼이면 의미가 있다」를 먼저 정한 뒤 d 로 바꿉니다.

6. 꼭 알아야 할 성질

바꾸면사람 수(손 예제의 126명에서)까닭
찾을 효과 δ 를 반으로4배(504명)n 은 1 ÷ δ² 에 비례한다. 곡선 사이가 반이면 곡선 폭도 반이어야 하고, 폭은 √n 에 반비례한다
표준편차 σ 를 두 배로4배(504명)n 은 σ² 에 비례한다. 중요한 것은 δ ÷ σ 하나다
α 를 5% 에서 1% 로1.49배(188명)z_α/2 가 1.96 에서 2.58 로. 임계값이 바깥으로 간다
검정력을 80% 에서 90% 로1.35배(170명)z_β 가 0.84 에서 1.28 로
양쪽 검정을 한쪽으로0.79배(100명)z 가 1.96 에서 1.645 로. 반대 방향의 효과는 보지 않기로 실험 전에 정했을 때만 쓴다
두 군을 2:1 로1.13배(143명)전체 사람 수가 같다면 1:1 일 때 표준오차가 가장 작다

7. 정말 그만큼이면 되나: 시뮬레이션

식이 맞는지 직접 실험해 봅니다. 지어낸 두 군(대조 평균 140 mmHg, 치료 평균 135 mmHg, 둘 다 표준편차 10)에서 n 명씩 뽑아 t 검정(두 군의 분산을 합쳐 쓰는 것, 양쪽 5%)을 하는 실험을 1,000번 합니다. 유의하게 나온 비율이 곧 그 n 의 검정력입니다.

막대 하나는 「두 군 평균의 차이」가 그 칸에 들어간 실험의 수입니다. 그림 밖(−10 보다 작거나 20 보다 큰 것)은 양 끝 칸에 모았습니다. 난수는 고정 시드(seed)로 만들어 같은 시드, 같은 n 이면 늘 같은 그림이 나옵니다. 시드를 바꾸면 다른 우연이 나옵니다.

해 볼 것. ① 처음(n = 63, 시드 1)에는 1,000번 가운데 790번(79.0%)이 유의합니다. 식(정규 근사)의 80.1% 보다 조금 낮은데, 실험을 1,000번만 해서 생기는 흔들림(표준편차로 1%p 남짓)에 t 검정의 몫(정확히는 79.5%)이 겹친 것입니다. 시드를 2, 3, 4, 5 로 바꾸면 809, 781, 805, 790번입니다. ② 「반으로: 32」를 누르면 541번(54.1%)으로 떨어집니다. 식은 51.6% 입니다. 효과가 정말 있어도 실험의 절반쯤은 놓칩니다. ③ 설명 줄의 마지막 숫자를 보세요. 유의하게 나온 실험만 모아 차이를 평균하면 n = 63 에서 5.64, n = 32 에서 6.88 mmHg 로 참값 5 보다 큽니다. 사람이 모자란 실험일수록 「유의하게 나온 결과」는 효과를 부풀립니다. 앞선 작은 연구의 효과를 그대로 δ 로 쓰면 안 되는 까닭입니다. ④ n 을 126 으로 올리면 976번(97.6%)입니다.

8. 두 비율을 비교할 때

결과가 숫자가 아니라 「일어났다, 안 일어났다」(사건이 일어난 사람의 비율)이면 σ 대신 비율에서 분산이 나옵니다. 비율이 p 인 사건의 분산은 p × (1 − p) 입니다. 대조군의 비율을 p₁, 치료군의 비율을 p₂ 라 하면 군마다 이렇게 계산합니다(정규 근사, 연속성 보정 없음).

n = (z_α/2 × √(2 × p̄ × (1 − p̄)) + z_β × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₁ − p₂)², p̄ = (p₁ + p₂) ÷ 2

모양은 3절의 식과 같습니다. 임계값은 「효과가 없어 두 비율이 같다」고 볼 때의 분산(p̄ 로 계산)으로, z_β 의 길이는 「효과가 있을 때」의 분산으로 잽니다. 비율 비교의 검정은 카이제곱 검정 쪽에 있습니다.

지어낸 예: 어떤 사건(예를 들어 1년 안의 재입원)이 대조군에서 30%, 치료군에서 20% 일어난다고 볼 때입니다. α 는 5% 양쪽으로 두었습니다. 세로축은 10배마다 같은 간격인 로그 척도입니다. 초록 곡선은 「같은 차이」(30% → 20% 라면 늘 10%p 낮게), 파란 곡선은 「같은 비」(늘 대조의 0.67배)를 두고 대조의 비율만 옮긴 것입니다.

해 볼 것. ① 처음(30% → 20%)에는 군마다 294명, 모두 588명입니다. ② 차이를 10%p 그대로 두면 대조 비율이 55% 일 때(55% → 45%) 392명으로 가장 많습니다. p × (1 − p) 가 50% 에서 가장 크기 때문입니다. 초록 곡선의 꼭대기가 그곳입니다. ③ 대조를 2%, 치료를 1% 로 두면(드문 사건을 반으로) 2,319명이 필요합니다. 대조 40%, 치료 20%(역시 반으로)는 82명입니다. 같은 「반으로 줄이기」라도 드문 사건은 28배쯤 더 듭니다. 차이가 1%p 뿐이기 때문입니다. 파란 곡선이 왼쪽으로 갈수록 가파르게 오르는 것이 이것입니다. ④ 30% → 20% 에서 검정력을 90% 로 올리면 392명입니다.

9. 현실의 보정: 탈락, 배정 비율, 여러 결과

식에서 나온 숫자는 「분석할 때 남아 있어야 할 사람 수」입니다. 실제로 모을 사람 수는 몇 가지 까닭으로 더 커집니다. 아래 표는 손 예제(126명)에서 출발해 보정을 한 줄씩 더합니다.

단계치료대조전체전체(막대)

해 볼 것. ① 처음(2:1, 결과 셋, 탈락 15%)에는 126 → 143 → 189 → 224명으로, 기본의 1.78배입니다. 마지막 줄은 치료 149명, 대조 75명입니다. ② 1:1, 결과 하나, 탈락 20% 로 두면 126 → 126 → 126 → 158명(군마다 79명)입니다. ③ 결과를 10개로 늘려 보세요. α 를 10 으로 나누는 대가가 큽니다.

10. 추정이 목표일 때: 신뢰구간의 폭

「차이가 있나」를 검정하는 것이 아니라 「얼마인가」를 추정하는 것이 목표일 때도 있습니다. 어른의 평균 혈압이 얼마인지, 설문에서 「예」라고 답할 사람의 비율이 얼마인지 같은 것입니다. 이때는 신뢰구간의 반폭(± 얼마)을 목표로 정합니다. 신뢰구간의 반폭은 z × σ ÷ √n 이므로, 이것을 원하는 반폭 E 와 같게 놓고 n 에 대해 풀면 됩니다.

평균: n = (z × σ ÷ E)²
비율: n = z² × p × (1 − p) ÷ E²

z 는 신뢰수준에서 나옵니다(90% 1.645, 95% 1.96, 99% 2.576). 검정력은 들어가지 않습니다. 비율을 미리 모를 때는 p = 0.5 로 둡니다. p × (1 − p) 가 0.25 로 가장 커서 가장 넉넉한 답이 나옵니다.

해 볼 것. ① 처음(평균, 95%, σ 10, ±2 mmHg)에는 97명입니다. 반폭을 ±1 로 줄이면 385명, 네 배쯤입니다. ② 「비율」을 누르면 p 50%, ±3%p 에서 1,068명입니다. 거꾸로 1,000명에게 물은 설문의 오차 한계는 1.96 × √(0.25 ÷ 1000) = 0.031, 곧 ±3.1%p(95%)입니다. ±5%p 면 385명, 99% 로 올리면 1,844명, 90% 면 752명입니다. ③ p 를 10% 로 두면 ±3%p 에 385명입니다. 비율이 한쪽으로 치우치면 분산 p × (1 − p) 이 작아집니다.

이렇게 읽으면 틀린다. 「95% 신뢰구간」은 「참값이 이 구간 안에 있을 확률이 95%」가 아닙니다. 「이 방법으로 구간을 만들면 100번에 95번쯤 참값을 덮는다」는 뜻입니다. 또 이 계산은 우연에 따른 흔들림의 폭만 정합니다. 무작위로 뽑지 않은 사람들(답하고 싶은 사람만 답한 설문)이라면 사람을 아무리 늘려도 편향은 줄지 않습니다. 실제 구간의 폭은 표본에서 잰 표준편차에 따라 조금 달라집니다.

11. 설계와 검정이 바뀌면 식도 바뀐다

지금까지의 식은 「두 군을 따로 모아 평균이나 비율을 비교하는」 설계의 것입니다. 설계와 검정 방법이 다르면 식이 달라집니다. 네 입력(효과, 표준편차, α, 검정력)의 뜻은 같습니다.

12. 「5%」와 「80%」는 약속이다

α = 5% 와 검정력 80% 는 자연법칙이 아니라 사람들이 맞춘 약속입니다. Cohen(1988)은 다른 근거가 없을 때 검정력 80% 를 쓰자고 제안하면서, 이는 1종 오류(α 0.05)를 2종 오류(β 0.2)보다 네 배 무겁게 보는 셈이라고 설명했습니다. 임상시험 지침(ICH E9)도 α 는 관례로 5% 이하, 2종 오류율 β 는 10~20% 라고 적고, 다른 값이 맞는 경우도 있다고 덧붙입니다. 다시 하기 어렵거나 놓치면 손해가 큰 연구는 90% 를 씁니다.

약속이므로 고른 숫자와 그 까닭을 계획서에 적고, 숫자를 바꾸면 사람 수가 얼마나 바뀌는지(1절 실험의 표) 함께 봅니다. 결과를 본 뒤에 α 를 바꾸거나, 유의하게 나올 때까지 사람을 조금씩 더 모으며 검정을 되풀이하면 1종 오류를 범할 확률이 α 보다 커집니다. 중간에 결과를 보려면 몇 번, 어떤 기준으로 볼지 미리 정해 둡니다(임상시험 설계).

13. 끝나고 나서 계산하는 것은 의미가 없다

실험이 끝나고 「유의하지 않음」이 나오면, 얻은 효과 값을 넣어 검정력을 계산하고 「검정력이 낮아서 못 찾았다」고 말하고 싶어집니다. 이것을 사후 검정력(관측 검정력)이라고 부르는데, 새로 알려 주는 것이 없습니다. 이 값은 p값으로 정해지기 때문입니다. p값이 0.05 이면 관측 검정력은 늘 50% 쯤이고, 유의하지 않은 결과(p > 0.05)는 그보다 낮게 나옵니다. 「검정력이 낮았다」는 「유의하지 않았다」를 다시 말한 것일 뿐입니다(Hoenig, Heisey 2001).

끝난 뒤에는 신뢰구간을 봅니다. 예를 들어 혈압 차이의 95% 신뢰구간이 −1 ~ 7 mmHg 라면 「효과가 없을 수도, 7 mmHg 만큼 클 수도 있다. 이 실험으로는 가를 수 없다」고 읽습니다. 표본 크기는 실험 전에 정하는 것입니다.

어디에 쓰나

자주 묻는 것

표본 크기는 어떻게 정하나요?

실험을 시작하기 전에 찾고 싶은 가장 작은 효과(탐지할 차이), 자료의 표준편차, 유의수준 α, 있는 효과를 잡아낼 확률(검정력) 네 가지를 정하고 식에 넣습니다. 두 군의 평균을 비교할 때는 군마다 n = 2 × (z_α/2 + z_β)² × σ² ÷ δ² 이고, 나온 값은 늘 올립니다.

효과가 반이면 왜 사람이 네 배 필요한가요?

두 곡선의 가운데 사이가 반으로 줄면, 곡선의 폭(표준오차)도 반으로 줄여야 전과 같은 만큼 갈라집니다. 표준오차는 사람 수의 제곱근에 반비례해서, 반으로 줄이려면 사람이 네 배 필요합니다.

왜 α 5%, 검정력 80% 를 쓰나요?

법칙이 아니라 관례, 곧 약속입니다. Cohen 은 다른 근거가 없을 때 검정력 80% 를 쓰자고 제안했고, 임상시험 지침(ICH E9)도 α 는 5% 이하, 2종 오류율은 10~20% 를 관례로 적습니다. 놓치면 손해가 큰 연구는 90% 를 씁니다. 고른 숫자와 그 까닭을 계획서에 적습니다.

실험이 끝난 뒤에 검정력을 계산하면 안 되나요?

끝난 뒤 얻은 효과 값으로 계산한 검정력은 p값으로 정해지는 값이라 새로 알려 주는 것이 없습니다. p값이 0.05 이면 늘 50% 쯤이 나옵니다. 끝난 뒤에는 신뢰구간을 보고 어느 크기의 효과까지 배제되는지 봅니다.

탈락을 생각하면 n × (1 + 탈락률) 인가요?

아닙니다. n ÷ (1 − 탈락률) 입니다. 63명이 남아야 하고 20% 가 빠질 것으로 보면 63 ÷ 0.8 = 78.75 라서 79명을 모읍니다. 63 × 1.2 = 75.6 이라 76명을 모으면, 20% 가 빠진 뒤 60.8명만 남아 63명에 못 미칩니다.

낱말

여기서 쓴 말책에서 부르는 말
몇 명이 필요한가 계산하기표본 크기 계산(sample size calculation), 검정력 분석(power analysis)
찾고 싶은 가장 작은 효과 δ탐지할 차이(difference to be detected), 최소 임상적 중요 차이(minimal clinically important difference)
값이 퍼진 정도 σ표준편차(standard deviation)
δ ÷ σ효과 크기(effect size), Cohen 의 d
헛짚을 확률 α유의수준(significance level), 1종 오류율(type I error rate)
놓칠 확률 β2종 오류율(type II error rate)
잡아낼 확률 1 − β검정력(statistical power)
효과 없음 곡선 / 효과 있음 곡선귀무가설(null hypothesis) / 대립가설(alternative hypothesis) 아래의 표집분포
「효과 있음」을 가르는 선임계값(critical value), 기각역의 경계
두 평균 차이의 흩어짐표준오차(standard error, SE)
z_α/2, z_β표준정규분포의 분위수(quantile). z_β 는 책에 따라 z₁₋β
나눈 사람들 / 치료받는 쪽 / 비교하는 쪽군(group, arm) / 치료군(treatment group) / 대조군(control group)
두 쪽 사람 수의 비배정 비율(allocation ratio)
중간에 빠짐탈락(dropout), 추적 소실(loss to follow-up)
α 를 결과의 수로 나누기본페로니 보정(Bonferroni correction)
신뢰구간의 반폭오차 한계(margin of error)
같은 사람을 두 번 재기 / 차례로 두 약짝지은 설계(paired design) / 교차 설계(crossover design)
사건 수, 위험의 비사건 수(number of events), 위험비(hazard ratio, HR)
끝나고 계산한 검정력사후 검정력, 관측 검정력(post hoc power, observed power)
σ 를 안다고 본 계산 / σ 를 추정한 계산정규 근사(normal approximation) / 비중심 t 분포(noncentral t distribution)를 쓴 계산
지어낸 자료로 여러 번 실험하기몬테카를로 시뮬레이션(Monte Carlo simulation)

출처

← 진단 검사와 ROC 곡선무작위 배정과 대조군 →