신뢰구간: 추정값에 붙이는 범위
25명의 혈압을 재어 평균을 냈다고 합시다. 다른 25명을 재면 평균이 조금 다르게 나옵니다. 그래서 숫자 하나만 적지 않고 「참값이 있을 만한 범위」를 함께 적습니다. 그 범위를 어떻게 만드는지, 「95%」가 무엇의 95% 인지 표본을 직접 뽑아 보며 봅니다. 이 쪽의 혈압과 사람 수는 모두 지어낸 자료이고, 이 쪽은 통계 개념만 설명합니다.
한 줄 답. 표본에서 구한 평균은 뽑을 때마다 조금씩 다릅니다. 신뢰구간은 그 추정값(estimate) 둘레에 「참값이 있을 만한 범위」를 붙인 것입니다. 평균이라면 평균 ± 1.96 × 표준오차 가 기본 꼴입니다. 95% 신뢰구간은 「이 방법으로 구간을 100번 만들면 약 95번은 참값을 품는다」는 뜻이고, 「참값이 이 구간 안에 있을 확률이 95%」라는 뜻이 아닙니다.
모집단은 평균 120, 표준편차 15 인 정규분포로 지어낸 혈압(mmHg)입니다. 막대 하나가 n명을 뽑은 표본 하나의 구간이고, 구간은 표본의 s 와 t 로 만듭니다(3절). 「다시 뽑기」는 표본 100개를 새로 뽑아 다시 쌓고, 「하나씩 뽑기」는 빈 판에서 구간을 하나씩 더합니다. n 이나 신뢰 수준을 바꾸면 놓친 수의 기록을 새로 시작합니다. 난수는 고정 시드(seed)로 만들어 쪽을 열 때마다 같은 표본이 나옵니다.
1. 신뢰구간이란: 추정값에 범위 붙이기
알고 싶은 것은 보통 무리 전체의 값입니다. 예를 들어 「어떤 무리의 어른 전체의 평균 혈압」입니다. 이 무리 전체를 모집단, 그 평균을 모평균(population mean, 참값)이라고 부르고 μ(뮤)로 적습니다. 모두를 잴 수는 없으니 몇 명만 뽑아(표본) 재고, 그 평균 x̄(엑스 바)로 μ 를 추정합니다. x̄ 가 추정값입니다.
추정값은 뽑을 때마다 달라집니다. 위 실험의 가로 막대 하나하나가 서로 다른 표본이고, 막대 가운데의 작은 점이 그 표본의 평균입니다. 점들이 120 둘레에 흩어져 있습니다. 표본 평균이 흩어지는 정도를 표준오차(SE)라고 부릅니다. 사람들이 퍼진 정도 σ(시그마, 표준편차)를 √n 으로 나눈 값입니다. 많이 잴수록 평균은 덜 흔들립니다. 왜 √n 인지는 표본과 표집분포 쪽에서 봅니다.
신뢰구간은 추정값에서 표준오차의 몇 배만큼 양쪽으로 넓힌 범위입니다.
구간 = 추정값 ± 임계값 × 표준오차
평균이라면 이렇습니다.
x̄ ± 1.96 × σ ÷ √n (σ 를 알 때)x̄ ± t × s ÷ √n (σ 를 모를 때. 보통은 이쪽)
s 는 표본으로 잰 표준편차(n − 1 로 나눈 것)이고, t 는 3절의 임계값(critical value)입니다. 「95%」 같은 신뢰 수준을 정하면 임계값이 정해집니다. σ 를 알 때 95% 면 1.96, 90% 면 1.645, 99% 면 2.576 입니다. 위 실험의 구간은 모두 아래쪽 식(s 와 t)으로 만들었습니다.
해 볼 것. ① 처음 그림(n = 25, 95%)은 구간 100개 가운데 96개가 참값을 품고 4개가 놓칩니다. 구간 폭의 평균은 12.28 mmHg 입니다. ② 「다시 뽑기」를 아홉 번 누르면 묶음 10개의 놓친 수가 4, 4, 3, 0, 6, 2, 2, 5, 4, 8 입니다. 묶음마다 0 에서 8 사이를 오가고, 모두 합치면 구간 1,000개 가운데 96.2% 가 품었습니다. 95% 는 「묶음마다 꼭 5개를 놓친다」가 아니라 「많이 만들면 포함 확률(coverage probability)이 95% 에 가깝다」는 뜻입니다. ③ 쪽을 새로 열고 신뢰 수준을 90% 로 내리면 같은 표본의 구간이 좁아지고(폭 평균 10.18) 11개가 놓칩니다. 99% 로 올리면 넓어지고(16.64) 하나도 놓치지 않습니다. ④ 쪽을 새로 열고 n 을 5 로 줄이면 폭 평균이 35.87 로 넓어지고, 100 으로 늘리면 5.94 로 좁아집니다. 25 에서 100 으로 네 배 늘리자 폭이 약 절반이 됐습니다. ⑤ 「하나씩 뽑기」를 누르면 빈 판에서 구간이 하나씩 쌓입니다. 놓친 구간이 언제 나올지는 미리 알 수 없습니다.
2. 95% 는 무엇의 95% 인가
95% 는 구간을 만드는 방법의 성질입니다. 표본을 뽑기 전에는 「이제 만들 구간이 참값을 품을 확률」이 95% 입니다. 표본을 뽑고 구간을 만든 뒤에는 그 구간이 참값을 품었거나 놓쳤거나 둘 중 하나입니다. 참값은 정해진 하나의 수이고 구간의 두 끝도 이제 정해졌으니, 남은 우연이 없습니다. 우리가 어느 쪽인지 모를 뿐입니다.
고리 던지기에 비교할 수 있습니다. 100번에 95번은 말뚝에 고리를 거는 사람이 눈을 가리고 던집니다. 고리 하나를 던진 뒤 「이 고리가 걸렸을 확률이 95%」라고 하면 틀린 말입니다. 고리는 걸렸거나 안 걸렸습니다. 맞는 말은 「이 사람이 던진 고리는 100번에 95번꼴로 걸린다」입니다. 신뢰구간에서 말뚝(참값)은 끝내 보이지 않습니다.
| 흔한 틀린 풀이 | 올바른 풀이 | 왜 |
|---|---|---|
| 「참값이 114.12 ~ 125.88 안에 있을 확률이 95% 다.」(5절의 구간) | 「이 방법으로 만든 구간은 100번에 약 95번 참값을 품는다. 이번 구간이 그 95번에 드는지는 모른다.」 | 참값도 이번 구간도 이미 정해진 수다. 확률은 표본을 뽑는 일에 있었다 |
| 「사람들의 95% 가 이 범위의 혈압이다.」 | 「평균이 있을 만한 범위다. 사람 하나하나는 훨씬 넓게 퍼져 있다.」 | 구간은 표준오차(σ ÷ √n)로 만든다. σ = 15, n = 25 면 평균의 구간은 ± 5.88 이지만, 모집단이 정규분포라면 사람들의 95% 는 120 ± 29.4 에 있다 |
| 「다시 실험하면 새 평균이 95% 확률로 이 구간에 들어온다.」 | 「평균적으로 약 83% 다.」 | 이번 평균도 새 평균도 흔들린다. 둘의 차이는 표준오차의 √2 배만큼 흩어지므로 2Φ(1.96 ÷ √2) − 1 ≈ 83.4% 다(σ 를 알 때. Φ 는 정규분포에서 왼쪽의 넓이) |
| 「두 집단의 95% 구간이 겹치니 차이가 유의하지 않다.」 | 「겹쳐도 유의할 수 있다. 차이에 대한 구간을 따로 만들어 본다.」 | 표준오차가 2 인 두 평균이 6 차이 나면 두 구간(± 3.92)은 겹친다. 그런데 차이의 표준오차는 2 × √2 ≈ 2.83 이라 6 ÷ 2.83 = 2.12, p ≈ 0.034 로 유의하다 |
| 「차이의 구간이 0 을 품으니 효과가 없다는 것이 밝혀졌다.」 | 「이 자료로는 0 과 구별하지 못했다. 구간 안의 큰 값도 자료와 똑같이 맞는다.」 | 8·9절. 구간이 넓으면 자료가 모자란 것이다 |
3. 구간 하나 뜯어보기: 표준오차와 t
실제로는 표본이 하나뿐입니다. 아래 실험은 위 실험의 막대 하나를 크게 펼친 것입니다. 구간 하나는 다섯 걸음으로 만듭니다.
- 평균 x̄ 를 낸다.
- 표준편차 s 를 낸다. 평균까지 거리의 제곱을 n − 1 로 나눈 뒤 제곱근을 씌운다.
- 표준오차
SE = s ÷ √n을 낸다. - 임계값을 고른다. 95% 라면 σ 를 알 때 1.96, 모를 때 t(자유도 n − 1).
- 양 끝
x̄ − 임계값 × SE와x̄ + 임계값 × SE를 낸다.
위 그림의 파란 점은 표본 n명의 혈압이고, 옅은 보라 곡선은 지어낸 모집단입니다. 위 줄의 100 ~ 140 을 아래 줄에 확대했습니다. 아래 줄의 검은 마름모가 x̄, 보라 막대가 SE 하나의 길이, 초록 막대가 구간입니다(참 평균을 놓치면 주황). 그 아래 그래프는 n 에 따라 t 가 어떻게 바뀌는지 보여 줍니다. 맨 아래 줄의 포함 확률은 n 마다 구간 10,000개씩을 만들어 잽니다. 막대를 끄는 동안에는 멈춘 뒤에 셉니다.
σ 를 모르면 왜 t 인가
1.96 은 σ 를 알 때의 수입니다. 실제로는 σ 를 모르니 표본의 s 를 대신 넣습니다. 그런데 s 도 표본마다 흔들리고, 표본이 작으면 σ 보다 작게 나오는 일이 꽤 있습니다. s 가 작게 나오면 구간도 좁아져 참값을 놓치기 쉽습니다. 그래서 s 를 쓰면서 1.96 을 그대로 곱하면, 실제 포함 확률이 95% 에 못 미칩니다.
「Student」라는 이름으로 나온 1908년 논문은, 모집단이 정규분포일 때 (x̄ − μ) ÷ (s ÷ √n) 이 정규분포보다 꼬리가 두꺼운 분포를 따른다는 것을 보였습니다. 이것이 t 분포입니다. 모양은 자유도 n − 1 이 정합니다. t 분포에서 가운데 95% 를 남기는 자리가 임계값 t 입니다. n 이 작을수록 크고, n 이 커지면 1.96 으로 다가갑니다.
| n | 자유도 | t (95%) | s 와 1.96 으로 만들면 포함 확률 | s 와 t 로 만들면 |
|---|---|---|---|---|
| 2 | 1 | 12.706 | 70% | 94.7% |
| 5 | 4 | 2.776 | 87.6% | 95.1% |
| 10 | 9 | 2.262 | 91.9% | 95.1% |
| 25 | 24 | 2.064 | 93.6% | 94.9% |
| 100 | 99 | 1.984 | 94.8% | 95.1% |
포함 확률은 실험과 같은 방법(n 마다 구간 10,000개, 고정 시드)으로 잰 값입니다. t 쪽은 모두 95% 근처이고, 1.96 쪽은 n 이 작을수록 모자랍니다.
자유도라는 이름은 s 를 낼 때 생깁니다. 평균을 내는 데 값들을 이미 한 번 썼으므로, 평균까지의 거리 n 개 가운데 자유롭게 움직이는 것은 n − 1 개뿐입니다. 거리를 모두 더하면 늘 0 이라 마지막 하나는 저절로 정해지기 때문입니다. s 를 n − 1 로 나누는 것도 같은 까닭입니다.
조건. t 구간이 정확히 95% 를 품는 것은 모집단이 정규분포일 때입니다. 모양이 조금 달라도 n 이 충분히 크면 중심극한정리 덕분에 거의 맞습니다. 한쪽으로 크게 치우친 자료에서 몇 개만 뽑았다면 맞지 않을 수 있습니다. 표본은 무작위로, 서로 영향을 주지 않게(독립으로) 뽑아야 합니다.
해 볼 것. ① 처음(n = 25, t)은 x̄ = 123.16, s = 12.55, SE = 2.51, t = 2.064 이고, 구간 117.98 ~ 128.34 가 참값 120 을 품습니다. 맨 위 실험의 첫 막대와 같은 표본입니다. 이 n 으로 구간 10,000개를 만들면 z 는 93.6%, t 는 94.9% 를 품습니다. ② 「z (1.96)」를 누르면 같은 표본의 구간이 118.24 ~ 128.08 로 조금 좁아집니다. ③ n 을 5 로 줄이면 t 가 2.776 이 되고, 포함 확률은 z 87.6%, t 95.1% 입니다. ④ n 을 2 로 줄이면 t 가 12.706 으로 커집니다. 이때 처음 표본은 두 값이 우연히 붙어 있어 s = 2 이고, t 를 써도 121.68 ~ 157.62 로 참값을 놓칩니다. 방법이 95% 를 품어도 구간 하나는 놓칠 수 있습니다. ⑤ n 을 100 으로 늘리면 t 가 1.984 로 1.96 과 거의 같습니다.
4. 식이 만들어지는 과정: 평균 ± 1.96 × SE
신뢰구간의 식은 「표본 평균이 어떻게 흩어지는가」에서 거꾸로 나옵니다. 아래 그림은 맨 위 실험의 처음 표본 100개(각 25명)를 그대로 씁니다. 「다음」을 누르면 한 단계씩 넘어가며 식에 조각이 하나씩 붙습니다(주황 바탕이 이번에 붙은 조각).
위쪽 점 하나는 표본 하나의 평균입니다. 보라 곡선은 평균 120, 표준편차 3 인 정규분포를 점과 같은 눈금으로 그린 것입니다. 아래쪽 막대 하나는 표본 하나의 구간이고, 위쪽의 점과 같은 차례입니다.
- 표본 평균은 흩어진다:
SE = σ ÷ √n. 표본 평균은 참값 μ 둘레에 종 모양으로 흩어지고, 그 퍼짐이 표준오차입니다. 여기서는 15 ÷ √25 = 3 입니다. 점 100개로 잰 표준편차는 2.93 으로 가깝습니다. 표본 평균이 종 모양이 되는 까닭은 표집분포와 중심극한정리에서 봅니다. - 가운데 95%:
μ − 1.96 × SE ≤ x̄ ≤ μ + 1.96 × SE. 정규분포는 평균 ± 1.96 표준편차 안에 95% 가 듭니다. 그래서 표본 평균의 95% 는 120 ± 5.88, 곧 114.12 ~ 125.88 에 떨어집니다. 실제로 점 100개 가운데 96개가 띠 안, 4개가 밖입니다. - 뒤집어 보기:
x̄ − 1.96 × SE ≤ μ ≤ x̄ + 1.96 × SE. 「x̄ 가 μ 에서 5.88 안에 있다」와 「μ 가 x̄ 에서 5.88 안에 있다」는 같은 말입니다. 두 점 사이의 거리는 어느 쪽에서 재도 같기 때문입니다. 식으로는 부등식의 양쪽에서 μ 와 x̄ 의 자리를 바꾼 것뿐입니다. 그래서 점마다 같은 길이(± 5.88)의 막대를 그리면, 띠 밖에 있던 4개의 막대만 μ 를 놓칩니다. - 구간 =
x̄ ± 1.96 × σ ÷ √n. 실제로는 표본이 하나뿐이고 μ 는 보이지 않습니다. 그래도 ③ 의 같은 말 덕분에, 「x̄ ± 1.96 × SE」를 만드는 방법은 표본의 95% 에서 μ 를 품습니다. 첫 표본이면 123.16 ± 5.88, 곧 117.28 ~ 129.04 입니다. - σ 를 모르면:
x̄ ± t × s ÷ √n. σ 대신 표본마다 자기 s 를 쓰고, 그만큼 흔들림이 더해지니 1.96 대신 조금 큰 t(자유도 24 에서 2.064)를 곱합니다(3절). 막대 길이가 표본마다 달라지고, 놓친 막대는 4개입니다. 맨 위 실험의 처음 그림과 같은 구간들입니다.
③ 의 뒤집기가 핵심입니다. 95% 라는 확률은 ② 에서 「x̄ 가 어디에 떨어지는가」에 붙어 있었습니다. 뒤집은 뒤에도 흔들리는 것은 x̄ 와 구간이고 μ 는 그대로입니다. 그래서 95% 는 「구간이 μ 를 품는 일」의 확률, 곧 방법의 성질입니다. 2절 표의 첫 줄이 틀린 까닭이 여기 있습니다. ② 의 「정확히 95%」는 표본 평균이 정규분포를 따를 때의 말이고, 모집단이 정규분포가 아니면 n 이 클 때 거의 맞는 근사입니다.
5. 손으로 풀어 보기
표본 25명의 혈압 평균이 120, 표준편차가 15 라고 합시다(지어낸 숫자). 95% 신뢰구간을 두 방법으로 구합니다.
- 표준오차:
SE = 15 ÷ √25 = 15 ÷ 5 = 3. - z 로(σ 가 15 라고 알고 있다면):
1.96 × 3 = 5.88. 구간은120 ± 5.88, 곧 114.12 ~ 125.88. - t 로(15 가 표본에서 잰 s 라면): 자유도 24 의 t 는 2.064.
2.064 × 3 = 6.19. 구간은120 ± 6.19, 곧 113.81 ~ 126.19.
n = 25 에서는 차이가 작습니다(오차 한계 5.88 과 6.19). 같은 표준편차로 n = 5 라면 SE = 15 ÷ √5 ≈ 6.71 이고, z 로는 ± 13.15, t(자유도 4 에서 2.776)로는 ± 18.62 입니다. 표본이 작을수록 t 를 써야 하는 까닭이 커집니다.
# 파이썬 표준 라이브러리로 z 구간
from math import sqrt
from statistics import NormalDist
z = NormalDist().inv_cdf(0.975) # 1.9599639845400536
mean, s, n = 120, 15, 25
se = s / sqrt(n) # 3.0
(mean - z * se, mean + z * se) # (114.12…, 125.87…)
# t 값은 표준 라이브러리에 없다. scipy 에서는 scipy.stats.t.ppf(0.975, 24) 로 구한다(2.0639)
6. 구간의 폭을 정하는 셋
오차 한계 = 임계값 × σ ÷ √n 이라 폭을 바꾸는 것은 셋입니다. 아래 표는 σ 를 안다고 두고(z), 바꾸지 않은 것은 95%, σ = 15, n = 25 로 둔 값입니다.
| 바꾸는 것 | 값 | 오차 한계 | 쉬운 말 |
|---|---|---|---|
| 신뢰 수준 | 90% · 95% · 99% (임계값 1.645 · 1.96 · 2.576) | ± 4.93 · ± 5.88 · ± 7.73 | 더 자주 품으려면 넓어져야 한다 |
| 표본 크기 n | 25 · 100 · 400 | ± 5.88 · ± 2.94 · ± 1.47 | 네 배 모으면 폭이 절반. √n 에 반비례한다 |
| 흩어짐 σ | 7.5 · 15 · 30 | ± 2.94 · ± 5.88 · ± 11.76 | 값들이 두 배로 퍼져 있으면 폭도 두 배 |
폭을 절반으로 줄이는 값은 비쌉니다. 사람을 네 배 모아야 합니다. 원하는 폭을 먼저 정하고 필요한 n 을 거꾸로 셈하는 일이 표본 크기 계산입니다. 흩어짐은 재는 방법을 정밀하게 하거나, 비슷한 사람끼리 묶어 비교해서 줄일 수 있습니다(블록 설계).
7. 비율의 신뢰구간
「100명 가운데 30명에게 효과가 있었다」(지어낸 숫자)처럼 비율에도 구간을 붙입니다. 비율 p̂(피 햇) = 30 ÷ 100 = 0.3 이 추정값이고, 표준오차는 √(p̂ × (1 − p̂) ÷ n) 입니다. 가장 단순한 95% 구간은 평균과 같은 꼴입니다.
p̂ ± 1.96 × √(p̂ × (1 − p̂) ÷ n)
30 / 100 이면 √(0.3 × 0.7 ÷ 100) = √0.0021 ≈ 0.0458, 1.96 × 0.0458 ≈ 0.0898 이라 구간은 0.3 ± 0.0898, 곧 21% ~ 39% 입니다. 이 식을 왈드(Wald) 구간이라고 부릅니다.
이 식은 「p̂ 가 정규분포처럼 흩어진다」고 보고 만든 근사입니다. n 이 크고 비율이 가운데쯤이면 잘 맞지만, n 이 작거나 비율이 0 이나 1 에 가까우면 맞지 않습니다. 구간이 0% 아래로 나가고, 0명이면 폭이 0 이 되고, 실제 포함 확률이 95% 에 크게 못 미칩니다.
위 줄은 지금 자료의 두 구간입니다. 아래 줄은 「참 비율이 지금 p̂ 와 같다」고 두고 같은 n 명을 10,000번 뽑아 두 식으로 구간을 만들었을 때 참 비율을 품은 몫입니다. 막대를 끄는 동안에는 멈춘 뒤에 셉니다.
해 볼 것. ① 처음(30 / 100)은 단순한 식이 21% ~ 39%, 윌슨이 21.9% ~ 39.6% 입니다. 포함 확률은 단순한 식 95%, 윌슨 93.5% 로 둘 다 95% 근처입니다. ② n 을 20, 효과를 본 사람을 1 로 두면(5%) 단순한 식은 −4.6% ~ 14.6% 로 0 아래로 나가고, 포함 확률은 63.6% 뿐입니다. 윌슨은 0.9% ~ 23.6% 이고 92.6% 를 품습니다. ③ 효과를 본 사람을 0 으로 두면 단순한 식은 0% ~ 0%, 폭이 0 입니다. 20명 가운데 아무도 효과를 보지 않았다고 참 비율이 정확히 0 이라고 할 수는 없습니다. 윌슨은 0% ~ 16.1% 입니다. ④ n 을 10, 효과를 본 사람을 3 으로 두면(30%) 포함 확률이 단순한 식 84%, 윌슨 92.5% 입니다. 비율이 ① 과 같아도 n 이 작으면 단순한 식이 틀어집니다.
그래서 비율에는 다른 식을 권합니다. NIST 의 통계 핸드북은 윌슨 구간을 권하고, 그 근거로 Brown, Cai, DasGupta (2001) 를 듭니다. 윌슨 구간은 「참 비율이 p 라면 p̂ 가 p 에서 1.96 표준오차 안에 있다」는 검정을 p 에 대해 거꾸로 푼 것입니다. 표준오차를 p̂ 가 아니라 후보 p 로 재기 때문에 늘 0 ~ 1 안에 있고, 0명이어도 폭이 생깁니다.
z = 1.96
가운데 = (p̂ + z² ÷ (2n)) ÷ (1 + z² ÷ n)
오차 한계 = z × √(p̂ × (1 − p̂) ÷ n + z² ÷ (4n²)) ÷ (1 + z² ÷ n)
윌슨 구간 = 가운데 ± 오차 한계
p̂: 표본에서 센 비율(추정값). 예: 30 ÷ 100 = 0.3.n: 표본 크기(사람 수).z: 임계값. 95% 면 1.96.가운데: 구간의 가운데.오차 한계: 가운데에서 양쪽으로 벌리는 폭.
윌슨 구간도 늘 정확히 95% 는 아닙니다. 사람 수가 정수라서 포함 확률이 n 과 참 비율에 따라 조금씩 오르내립니다(① 의 93.5%). 그래도 단순한 식보다 95% 에 훨씬 가깝게 머뭅니다.
8. 신뢰구간과 가설검정
두 집단의 차이(약을 먹은 집단 − 가짜 약을 먹은 집단)에 95% 신뢰구간을 만들었다고 합시다. 이 구간이 0 을 품지 않으면, 같은 자료로 「차이가 0 이다」를 양쪽으로 검정했을 때 p 값이 0.05 보다 작습니다. 곧 5% 수준에서 유의합니다. 구간이 0 을 품으면 유의하지 않습니다. 99% 구간과 1% 수준도 같은 짝입니다.
둘이 같은 부등식이기 때문입니다. 검정은 「0 이 추정값에서 1.96 SE 보다 멀리 있나」를 묻고, 구간은 「추정값 ± 1.96 SE」입니다. 0 이 구간 밖에 있다는 것과 0 이 1.96 SE 보다 멀다는 것은 같은 말입니다. 단, 같은 표준오차와 같은 분포로 만든 구간과 검정일 때입니다. 비율처럼 구간과 검정의 식이 서로 다르면 경계 근처에서 어긋날 수 있습니다. p 값과 검정은 가설검정과 p값 쪽에서 봅니다.
구간은 p 값보다 많은 것을 알려 줍니다. p 값은 「0 과 구별되나」 하나를 말하지만, 구간은 효과가 어느 쪽으로 얼마나 클 수 있는지와 그 추정이 얼마나 정밀한지를 같이 말합니다. 그래서 임상시험 보고 지침 CONSORT 2010 은 결과마다 효과의 크기와 그 정밀도(95% 신뢰구간 같은)를 적도록 합니다.
논문의 「차이 5.2 (95% CI 1.1 ~ 9.3)」 읽기
지어낸 예입니다. 혈압이 내려간 정도가 약 A 집단에서 가짜 약 집단보다 평균 5.2 mmHg 컸고, 95% 신뢰구간(CI)이 1.1 ~ 9.3 이라고 합시다.
- 5.2 는 이 자료에서 나온 하나의 추정값(점추정값)입니다.
- 1.1 ~ 9.3 은 이 방법이 내놓은 범위입니다. 참 차이가 1.1 이어도, 9.3 이어도 이 자료와 맞습니다. 「참 차이가 95% 확률로 이 안에 있다」고 읽지 않습니다(2절).
- 0 이 구간 밖에 있으니 5% 수준에서 유의합니다. 구간에서 p 값을 거꾸로 추정할 수도 있습니다.
SE ≈ (9.3 − 1.1) ÷ (2 × 1.96) ≈ 2.09,z ≈ 5.2 ÷ 2.09 ≈ 2.49, p ≈ 0.013 입니다(정규분포로 근사. Altman, Bland 2011). - 폭 8.2 는 정밀도입니다. 아래 끝 1.1 mmHg 는 작아서 별 뜻이 없을 수 있고, 위 끝 9.3 은 클 수 있습니다. 「차이가 0 은 아닌 것 같지만 크기는 아직 잘 모른다」가 정직한 요약입니다.
- 오즈비나 상대위험도처럼 비로 적는 값은 「차이 없음」이 0 이 아니라 1 입니다. 그때는 구간이 1 을 품는지 봅니다(오즈비와 상대위험도).
9. 「통계적으로 유의」와 「의미 있는 크기」는 다르다
통계적으로 유의하다는 「구간이 0 을 품지 않는다(우연만으로는 설명하기 어렵다)」는 뜻일 뿐, 차이가 크거나 중요하다는 뜻이 아닙니다. 표본이 아주 크면 아주 작은 차이도 유의해지고, 표본이 작으면 큰 차이도 유의하지 않을 수 있습니다.
| 지어낸 결과 | 5% 수준에서 유의한가 | 읽는 법 |
|---|---|---|
| 차이 0.4 mmHg (95% CI 0.1 ~ 0.7), 사람이 아주 많음 | 그렇다(p ≈ 0.009) | 0 은 아니지만 구간 전체가 작다. 그 분야에서 의미 있다고 보는 크기보다 작다면 쓸모가 적다 |
| 차이 8 mmHg (95% CI −1 ~ 17), 사람이 적음 | 아니다(p ≈ 0.08) | 0 일 수도 있지만 17 같은 큰 값도 자료와 맞는다. 「효과 없음」이 아니라 「아직 모름」이다. 자료가 더 필요하다 |
p 값은 8절처럼 구간에서 정규분포로 근사한 값입니다. 얼마가 「의미 있는 크기」인지는 통계가 정해 주지 않습니다. 그 분야의 사람들이 자료를 보기 전에 정합니다(의학에서는 최소 임상적 중요 차이라고 부릅니다). 그 크기를 구간과 나란히 놓으면, 구간 전체가 그보다 큰지, 작은지, 걸쳐 있는지로 결과를 읽을 수 있습니다. 작은 표본이 효과를 놓치기 쉬운 까닭은 1종·2종 오류와 검정력 쪽에서 봅니다.
10. 베이즈의 신용구간과 다른 점
「참값이 이 구간 안에 있을 확률이 95%」라고 말하고 싶다면 다른 틀이 필요합니다. 베이즈 방법은 참값을 모르는 동안 참값에 대한 믿음을 확률분포로 둡니다. 자료를 보기 전의 믿음(사전분포)에 자료를 더해 고친 믿음(사후분포)을 얻고, 그 가운데 95% 를 담는 범위를 신용구간(credible interval)이라고 부릅니다. 신용구간에서는 「참값이 이 안에 있을 확률이 95%」라고 말해도 됩니다. 대신 그 확률은 고른 사전분포에 따라 달라집니다. 사전분포를 아주 넓게 두고 자료가 많으면 신뢰구간과 숫자가 비슷하게 나오는 일이 많지만, 같은 숫자라도 말하는 것이 다릅니다. 신뢰구간은 「이 방법이 얼마나 자주 맞나」를, 신용구간은 「이 자료를 본 뒤 얼마나 믿나」를 말합니다.
11. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 95% 는 방법의 성질 | 같은 방법으로 많이 만들면 약 95% 가 참값을 품는다. 구간 하나는 품거나 놓치거나 둘 중 하나다 | ① 의 놓친 수 4, 4, 3, 0, 6, … |
| 폭 = 2 × 임계값 × SE | 신뢰 수준을 올리면 넓어지고, n 을 네 배 늘리면 절반이 되고, 흩어짐이 크면 넓어진다 | ① 의 90 · 95 · 99%, n 막대 |
| σ 를 모르면 t | s 로 바꾸면 흔들림이 더해져 임계값이 1.96 보다 크다. n 이 크면 1.96 으로 다가간다 | ② 의 t 그래프와 포함 확률 |
| 0 을 품지 않으면 유의 | 차이의 95% 구간이 0 밖이면 5% 수준 양쪽 검정에서 유의하다(같은 방법일 때). 비라면 1 을 본다 | 8절 |
| 우연만 다룬다 | 표본이 한쪽으로 치우쳐 뽑혔거나 측정이 틀렸다면, 구간은 그 틀린 곳을 좁게 가리킨다. 편향은 무작위 배정과 교란 다루기로 막는다 | ①: 모든 표본을 같은 모집단에서 무작위로 뽑았다 |
어디에 쓰나
- 임상시험과 실험 보고. 두 집단의 차이, 오즈비 같은 결과를 점추정값과 95% 신뢰구간으로 적습니다. CONSORT 2010 지침이 이렇게 적도록 합니다(임상시험 설계, 생존 분석).
- 여론조사의 오차 범위. 「95% 신뢰 수준에서 표본오차 ± 3.1%p」는 1,000명에게 물어 비율이 50% 일 때의 오차 한계입니다:
1.96 × √(0.5 × 0.5 ÷ 1000) ≈ 0.031. 비율이 50% 일 때 폭이 가장 커서 이 값을 대표로 적는 일이 많습니다. - A/B 시험. 화면 A 와 B 의 전환율 차이에 구간을 붙여, 0 을 품는지와 차이가 얼마나 클 수 있는지를 같이 봅니다.
- 모델 평가. 시험 자료 500개에서 정확도 87%(435개)라면 단순한 식으로 84.1% ~ 89.9% 입니다. 시험 자료가 적으면 두 모델의 1~2%p 차이는 구간 안에 묻힐 수 있습니다(과적합과 일반화).
- 같은 것을 여러 번 잴 때. 같은 시료를 여러 번 재어 평균을 낼 때, 평균에 구간을 붙여 그 측정값이 얼마나 정밀한지 적습니다.
자주 묻는 것
95% 신뢰구간이면 참값이 그 안에 있을 확률이 95% 인가요?
아닙니다. 95% 는 구간을 만드는 방법의 성질입니다. 같은 방법으로 구간을 많이 만들면 약 95% 가 참값을 품습니다. 이미 만든 구간 하나는 참값을 품었거나 놓쳤거나 둘 중 하나이고, 우리는 어느 쪽인지 모릅니다. 「참값이 이 안에 있을 확률」을 말하려면 베이즈의 신용구간을 씁니다.
왜 하필 95% 인가요?
관례입니다. 90% 와 99% 도 씁니다. 신뢰 수준을 올리면 놓치는 일은 줄지만 구간이 넓어집니다. σ = 15, n = 25 이면 오차 한계가 90% 에서 4.93, 95% 에서 5.88, 99% 에서 7.73 입니다.
표본을 늘리면 구간이 얼마나 좁아지나요?
폭은 √n 에 반비례합니다. 네 배로 늘리면 절반, 100배로 늘리면 10분의 1 입니다. 다만 표본이 한쪽으로 치우쳐 뽑혔다면 아무리 늘려도 구간은 엉뚱한 곳을 좁게 가리킵니다. 신뢰구간은 우연한 흔들림만 다루고 편향(치우침)은 다루지 않습니다.
z 와 t 가운데 무엇을 쓰나요?
모집단의 표준편차 σ 를 모르고 표본의 s 로 추정하면 t 를 씁니다. 거의 언제나 그렇습니다. 자유도는 n − 1 입니다. n 이 크면 둘이 거의 같아서 n = 100 이면 t 가 1.984, z 가 1.96 입니다. n 이 작을 때 z 를 쓰면 구간이 너무 좁아, n = 5 에서는 실제 포함 확률이 88% 쯤으로 떨어집니다.
그래프의 오차 막대는 신뢰구간인가요?
그때그때 다릅니다. 평균 ± 표준편차(사람들의 퍼짐), 평균 ± 표준오차(평균의 흔들림, n 이 크면 약 68% 신뢰구간), 95% 신뢰구간(약 ± 2 표준오차) 셋이 다 쓰입니다. 같은 자료라도 길이가 크게 다르니 그림 설명에서 무엇인지 먼저 확인합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 무리 전체 / 뽑은 몇 명 | 모집단(population) / 표본(sample) |
| 참값 | 모수(parameter). 평균이면 모평균 μ |
| 표본에서 구한 값, 그 값 하나 | 추정값(estimate), 점추정(point estimate). 평균이면 표본평균 x̄ |
| 추정값에 붙이는 범위 | 구간추정(interval estimate), 신뢰구간(confidence interval, CI) |
| 95% 같은 수준 | 신뢰 수준, 신뢰 계수(confidence level, confidence coefficient) |
| 표본 평균이 흩어지는 정도 | 표준오차(standard error, SE) |
| 곱하는 수(1.96, t) | 임계값(critical value). 정규분포의 것은 z 값 |
| 반쪽 폭 | 오차 한계, 허용 오차(margin of error). 여론조사의 「표본오차 ± 3.1%p」 |
| 꼬리가 두꺼운 분포, 자유롭게 움직이는 수 | t 분포, 스튜던트 t 분포(Student's t-distribution) / 자유도(degrees of freedom) |
| 품는 비율 | 포함 확률, 적중률(coverage probability) |
| 단순한 식 / 윌슨 구간 | 왈드 구간(Wald interval) / 윌슨 점수 구간(Wilson score interval) |
| 5% 수준에서 유의 | 통계적으로 유의(statistically significant), 유의수준(significance level) α = 0.05 |
| 의미 있는 크기 | 효과 크기(effect size), 임상적 유의성(clinical significance), 최소 임상적 중요 차이(minimal clinically important difference) |
| 믿음으로 만든 구간 | 신용구간, 베이즈 구간(credible interval) / 사전분포(prior), 사후분포(posterior) |
| 치우침 | 편향(bias) |
| 난수의 처음 값 | 시드(seed) |
출처
- NIST/SEMATECH e-Handbook of Statistical Methods: 1.3.5.2 Confidence Limits for the Mean(95% 의 뜻), 1.3.6.6.4 t Distribution, 7.2.4.1 Confidence intervals(비율의 윌슨 구간과 그 예제 값 0.09577).
- Student, The Probable Error of a Mean, Biometrika 6권 (1908). t 분포.
- J. Neyman, Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability, Philosophical Transactions of the Royal Society A 236권 (1937). 신뢰구간의 이론.
- E. B. Wilson, Probable Inference, the Law of Succession, and Statistical Inference, Journal of the American Statistical Association 22권 (1927). 윌슨 구간.
- L. D. Brown, T. T. Cai, A. DasGupta, Interval Estimation for a Binomial Proportion, Statistical Science 16권 (2001). 단순한 식(왈드)이 잘 품지 못하는 것.
- G. Cumming, S. Maillardet, Confidence intervals and replication: Where will the next mean fall?, Psychological Methods 11권 (2006). 다시 뽑은 평균이 들어올 확률.
- R. D. Morey 외, The fallacy of placing confidence in confidence intervals, Psychonomic Bulletin & Review 23권. 신뢰구간을 잘못 읽는 여러 방식.
- D. G. Altman, J. M. Bland, How to obtain the P value from a confidence interval, BMJ 343 (2011).
- K. F. Schulz, D. G. Altman, D. Moher, CONSORT 2010 Statement, BMJ 340 (2010). 항목 17a: 효과의 크기와 그 정밀도(95% 신뢰구간 같은)를 적는다.
- Abramowitz, Stegun, Handbook of Mathematical Functions, 식 7.1.26(오차함수의 근사)과 26.7 절(t 분포의 누적 확률). erf 의 정의는 NIST DLMF §7.2. 이 쪽의 계산은 파이썬 statistics.NormalDist 와 수치 적분으로 맞춰 보았습니다.