표본과 표집분포, 표준오차
혈압의 평균을 알고 싶어도 모든 사람을 잴 수는 없습니다. 몇십 명을 뽑아 재고, 그 평균으로 전체를 추정합니다. 그런데 다시 뽑으면 평균이 조금 다르게 나옵니다. 얼마나 다를까요? 뽑고 또 뽑아 보며 그 「조금」을 재 봅니다. 이 쪽의 자료는 모두 지어낸 것입니다.
한 줄 답. 전체(모집단)를 다 잴 수 없어서 일부(표본)만 뽑아 잽니다. 표본을 다시 뽑으면 평균이 조금씩 달라지는데, 그 표본 평균들이 흩어진 모양이 표집분포입니다. 그 흩어진 정도가 표준오차이고, 표본이 클수록 줄어듭니다: SE = σ ÷ √n. √ 때문에 표준오차를 절반으로 줄이려면 사람을 네 배 뽑아야 합니다.
| 실제로 잰 값 | 식의 값 | |
|---|---|---|
| 표본 평균들의 평균 | μ = 120 | |
| 표본 평균들의 표준편차 | ||
| 뽑은 표본 수 |
모양을 고르고 n 을 정한 뒤 「한 번 뽑기」를 눌러 보세요. 모집단에서 n 명이 무작위로 뽑혀 가운데 칸으로 떨어지고, 그 평균(주황 선)이 아래 칸에 쌓입니다. 「100번」과 「1000번」은 움직임 없이 한꺼번에 뽑고, 「자동」은 20,000번까지 뽑습니다. 세 모양 모두 평균 120, 표준편차 12 로 맞춘 지어낸 자료(5,000명)입니다. 한 번 뽑힌 사람도 다시 뽑힐 수 있게 뽑습니다(복원 추출). 모집단이 표본보다 훨씬 크면 이 차이는 거의 없습니다. 난수는 고정 시드(seed)로 만들어서 「처음부터」를 누르면 같은 표본이 같은 차례로 다시 나옵니다. n 이나 모양을 바꾸면 처음부터 다시 뽑습니다.
해 볼 것. ① 쪽을 열고 「한 번 뽑기」를 누르면 파란 점 36개가 떨어지고, 그 평균 x̄ = 116.52 가 아래 칸으로 떨어집니다. 모집단 평균 120 과 3.48 다릅니다. ② 「처음부터」를 누르고 「1000번」을 누르면 표본 평균들의 평균은 119.97, 표준편차는 1.97 입니다. 식의 값 12 ÷ √36 = 2 와 거의 같습니다. ③ n 을 4 로 줄이고 「1000번」을 누르면 표준편차가 6.25 로 넓어집니다(식 6). n 을 144 로 키우면 1.01 입니다(식 1). 아래 칸의 막대가 120 둘레의 좁은 띠에 몰립니다. ④ 「한쪽으로 치우친」을 고르고 n = 2 에서 「1000번」을 누르면 아래 칸도 오른쪽으로 꼬리를 끕니다. n 을 36 으로 올리면 거의 종 모양이 되고 표준편차는 1.94 입니다. ⑤ 「봉우리 둘」에서 n = 2 면 아래 칸에 봉우리가 셋 생깁니다(두 사람이 모두 낮은 쪽, 하나씩, 모두 높은 쪽). n = 36 이면 종 모양이고 1.97 입니다. ⑥ 종 모양, n = 36 에서 「자동」을 끝까지 돌리면 20,000개의 표준편차가 2 가 됩니다.
1. 모집단과 표본, 모수와 통계량
알고 싶은 대상 전체를 모집단이라고 부릅니다. 어느 지어낸 도시의 어른 전체의 혈압, 어떤 배양 접시에 든 세포 전체가 모집단입니다. 모집단을 다 재기는 어렵습니다. 돈과 시간이 들고, 재는 일 자체가 대상을 써 버리기도 합니다(세포를 세려고 염색하면 그 세포는 다시 쓸 수 없습니다). 그래서 일부만 뽑아 잽니다. 이것이 표본이고, 뽑은 수를 표본 크기 n 이라고 합니다.
모집단을 요약한 숫자(진짜 평균, 진짜 표준편차)를 모수, 표본으로 계산한 숫자를 통계량이라고 부릅니다. 모수는 하나로 정해져 있지만 보통 모릅니다. 통계량은 계산할 수 있지만 표본을 다시 뽑으면 달라집니다. 통계는 「아는 통계량으로 모르는 모수를 추정하고, 그 추정이 얼마나 흔들리는지 함께 말하는 일」입니다.
| 모집단 | 표본 | |
|---|---|---|
| 무엇 | 알고 싶은 전체 | 그중 뽑아서 잰 일부(n 명) |
| 요약한 숫자 | 모수: 평균 μ(뮤), 표준편차 σ(시그마), 비율 p | 통계량: 표본 평균 x̄(엑스 바), 표본 표준편차 s, 표본 비율 p̂(피 햇) |
| 알 수 있나 | 보통 모른다. 하나로 정해져 있다 | 계산할 수 있다. 다시 뽑으면 달라진다 |
| 실험에서 | ① 칸(5,000명, μ = 120, σ = 12) | ② 칸(n 명, x̄ 는 주황 선) |
모집단의 숫자는 그리스 문자(μ, σ)로, 표본의 숫자는 로마자(x̄, s)로 적는 것이 흔한 약속입니다.
2. 무작위로 뽑아야 하는 까닭
표본으로 모집단을 추정하려면 모집단의 누구나 같은 확률로 뽑혀야 합니다(무작위 추출). 뽑히는 확률이 사람마다 다르면 표본이 모집단의 한쪽으로 기울고, 이것을 편향된 표본(biased sample)이라고 부릅니다. 예를 들어 보면(모두 지어낸 상황입니다):
- 혈압이 걱정돼 스스로 재러 온 사람만 모으면, 표본의 혈압이 모집단보다 높은 쪽으로 기울 수 있습니다.
- 낮에 전화를 받는 사람만 조사하면, 낮에 집에 있는 사람들만 남습니다. 나이와 일하는 방식이 모집단과 달라집니다.
- 배양 접시의 한쪽 끝에서만 세포를 세면, 그쪽의 조건(온도, 영양분)이 다를 때 세포 수가 기웁니다.
중요한 점은 편향은 표본을 키워도 줄지 않는다는 것입니다. 스스로 재러 온 사람을 1만 명 모아도 기운 쪽으로 정확해질 뿐입니다. 이 쪽에서 다루는 표준오차는 「무작위로 뽑았을 때 우연히 생기는 흔들림」만 잽니다. 편향은 따로 따져야 합니다. 실험은 컴퓨터 난수로 사람을 골라서 누구나 같은 확률로 뽑힙니다.
3. 표집분포: 표본 평균들이 흩어진 모양
표본을 하나 뽑아 평균을 내면 숫자 x̄ 가 하나 나옵니다. 다시 뽑으면 다른 x̄ 가 나옵니다. 이것을 아주 많이 하면 x̄ 들이 쌓여 하나의 분포가 됩니다. 이것이 (평균의) 표집분포입니다. 실험의 ③ 칸이 바로 이것입니다.
실제 연구에서는 표본을 보통 한 번만 뽑습니다. 그래서 표집분포는 눈에 보이지 않습니다. 「같은 방법으로 다시 뽑는다면 x̄ 가 이렇게 흩어질 것」이라는, 생각 속의 분포입니다. 실험은 모집단을 알고 있으니 그것을 직접 그려 볼 수 있습니다.
표집분포는 자료의 분포와 다른 것입니다. 헷갈리기 쉬워서 나란히 적습니다.
| 자료의 분포 | 표집분포 | |
|---|---|---|
| 점 하나가 | 한 사람의 값 | 표본 하나의 평균 |
| 퍼진 정도 | 표준편차 σ. n 과 상관없다 | 표준오차 σ ÷ √n. n 이 크면 준다 |
| 가운데 | μ | μ(무작위로 뽑으면 표본 평균들의 평균은 μ 에 맞는다) |
| 모양 | 모집단의 모양 그대로(치우치면 치우친 채로) | n 이 크면 종 모양에 가까워진다 |
| 실험에서 | ① 칸(모집단), ② 칸(표본 하나) | ③ 칸 |
평균 말고 다른 통계량(중앙값, 비율, 표준편차)에도 저마다 표집분포가 있습니다. 이 쪽은 가장 많이 쓰는 평균을 다룹니다.
4. 표준오차: 평균이 흩어진 정도
표집분포의 표준편차를 표준오차(SE)라고 부릅니다. 「표본 평균이 모집단 평균에서 대략 얼마나 떨어져 나오나」입니다.
SE = σ ÷ √n
σ 는 모집단에서 한 사람 한 사람이 흩어진 정도(표준편차), n 은 표본 크기입니다. 식이 어디서 나오는지는 5절에서 한 단계씩 봅니다.
손으로 풀어 보기: σ = 12, n = 36
실험의 처음 값과 같습니다.
- √n.
√36 = 6. - 나누기.
SE = 12 ÷ 6 = 2. 36명씩 뽑아 평균을 낼 때마다, 그 평균은 모집단 평균에서 대략 2 mmHg 만큼 떨어져 나옵니다. 한 사람의 값이 대략 12 만큼 떨어져 있는 것에 비교하면 여섯 배 덜 흔들립니다. - 어림. 표집분포가 종 모양에 가까우면 68-95-99.7 규칙을 쓸 수 있습니다. 표본 평균의 약 95% 가
μ ± 2 × SE = 120 ± 4, 곧 116 ~ 124 안에 듭니다. - 네 배로. n = 144 면
√144 = 12,SE = 12 ÷ 12 = 1. 사람을 네 배 뽑자 표준오차가 절반이 됐습니다.
| 표본 크기 n | 4 | 9 | 36 | 144 | 576 |
|---|---|---|---|---|---|
| √n | 2 | 3 | 6 | 12 | 24 |
| SE = 12 ÷ √n | 6 | 4 | 2 | 1 | 0.5 |
실제로는 모집단의 σ 를 모릅니다. 그래서 표본 표준편차 s 를 대신 넣어 SE ≈ s ÷ √n 으로 추정합니다. 논문과 통계 프로그램이 내는 「SE」나 「SEM」(평균의 표준오차)은 거의 이 값입니다. 표본이 작으면 s 도 흔들려서 이 추정도 흔들립니다. 그 흔들림까지 셈에 넣는 것이 t 검정에 나오는 t 분포입니다.
5. 식이 만들어지는 과정: σ ÷ √n
실험의 종 모양 모집단(σ = 12)에서 사람을 뽑아 평균 120 을 뺀 값 X − μ 를 봅니다. 가운데가 0 이라 더하고 나눌 때 가운데가 움직이지 않고 퍼짐만 바뀌는 것이 잘 보입니다. 단계마다 4,000번 뽑은 값의 히스토그램입니다. 한 번에 뽑는 사람 수 n 은 2 와 4 가운데 고를 수 있습니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 값들이 그만큼 옮겨 가며 히스토그램이 넓어지거나 좁아지고, 아래에 까닭이 나옵니다. 세로 눈금은 단계를 넘길 때 출발과 도착 가운데 높은 쪽에 맞춥니다. 그래서 좁아지면 높아지고 넓어지면 낮아집니다(막대 넓이의 합은 늘 4,000번). 4,000번만 뽑았으므로 잰 값은 식의 값과 조금(2% 안쪽) 어긋납니다.
- 한 사람:
Var(X) = σ². 한 사람의 값은 평균 둘레로 σ = 12 만큼 흩어집니다. 분산(Var, 표준편차의 제곱)으로는 144 입니다. 까닭: 다음 단계의 「더하기」가 표준편차가 아니라 분산에서 성립하므로, 분산으로 바꿔 둡니다. - n 명을 더하기:
Var(X₁ + … + Xₙ) = n × σ². 한 번에 n 명을 뽑아 값을 더합니다. 서로 영향을 주지 않는(독립인) 값을 더하면 분산이 더해집니다. 이것은 확률분포 쪽의 성질이고, 여기서는 증명하지 않고 시뮬레이션으로 확인만 합니다. n 명이면 σ² 를 n 번 더해 n × σ² 입니다. n = 4 면 576, 표준편차로는 24 입니다. 까닭: 표준편차는 4 배(48)가 아니라 √4 = 2 배만 넓어집니다. 높게 나온 사람과 낮게 나온 사람이 서로 일부 지워 주기 때문입니다. - n 으로 나눠 평균 내기:
Var(X̄) = n × σ² ÷ n² = σ² ÷ n. 표본 평균은X̄ = (X₁ + … + Xₙ) ÷ n입니다. 모든 값을 n 으로 나누면 표준편차는 n 분의 1, 분산은 n² 분의 1 이 됩니다. 분산은 제곱이기 때문입니다. n = 4 면576 ÷ 16 = 36 = 144 ÷ 4. 까닭: 우리가 알고 싶은 것은 합이 아니라 평균입니다. 합이 √n 배 넓어진 것을 n 으로 나누니, 결국 √n 배 좁아집니다. - 제곱근:
SE = √(σ² ÷ n) = σ ÷ √n. 분산의 단위는 mmHg² 라서 제곱근을 씌워 mmHg 로 돌립니다. n = 4 면√36 = 6 = 12 ÷ √4. 이것이 표준오차입니다. 회색 윤곽(한 사람)과 비교하면 폭이 절반입니다. - 4 배를 뽑으면:
σ ÷ √(4n) = (σ ÷ √n) ÷ 2. √4 = 2 라서 사람을 네 배 뽑아야 표준오차가 절반이 됩니다. n = 4 의 네 배인 16명의 평균은12 ÷ √16 = 3. 정밀도를 두 배로 올리는 값이 사람 네 배라는 것이, 연구에서 표본을 무작정 늘리기 어려운 까닭입니다.
단계마다 4,000번 뽑아 잰 분산은 이렇습니다(괄호 안은 표준편차).
| 단계 | n = 2: 식 | n = 2: 잰 값 | n = 4: 식 | n = 4: 잰 값 |
|---|---|---|---|---|
| ① 한 사람 σ² | 144 (12) | 144.71 (12.03) | 144 (12) | 145.12 (12.05) |
| ② n 명의 합 n × σ² | 288 (16.97) | 285.18 (16.89) | 576 (24) | 580.07 (24.08) |
| ③·④ 평균 σ² ÷ n | 72 (8.49) | 71.29 (8.44) | 36 (6) | 36.25 (6.02) |
| ⑤ 4n 명의 평균 σ² ÷ 4n | 18 (4.24) | 17.76 (4.21) | 9 (3) | 9.07 (3.01) |
해 볼 것. ① 처음(n = 4)에는 표준편차 12.05 입니다. ② 「다음」을 누르면 값들이 옆으로 퍼지며 히스토그램이 넓고 낮아지고 표준편차가 24.08 이 됩니다. 4 배가 아니라 2 배입니다. ③ 한 번 더 누르면 값들이 4 분의 1 로 모이며 좁고 높아지고 표준편차 6.02 가 됩니다. ④ 다음 단계에서 식이 σ ÷ √n 으로 완성되고, 회색 윤곽(한 사람)의 절반 폭인 것이 보입니다. ⑤ 마지막 단계에서 16명의 평균은 3.01 로, 파란 윤곽(4명의 평균)의 다시 절반입니다. ⑥ 「n = 2」를 고르고 다시 넘겨 보면 ② 에서 16.89(√2 배), ③ 에서 8.44, ⑤ 에서 4.21 입니다.
6. 표준편차와 표준오차는 다르다
둘 다 「흩어진 정도」라서 자주 헷갈립니다. 표준편차(SD)는 한 사람 한 사람이 평균에서 얼마나 떨어져 있는지, 곧 자료의 성질입니다. 사람을 더 모아도 줄지 않고, 더 정확히 재질 뿐입니다. 표준오차(SE)는 표본을 다시 뽑으면 평균이 얼마나 흔들릴지, 곧 추정의 정밀도입니다. 사람을 더 모으면 줄어듭니다. 아래는 지어낸 두 집단(가, 나)의 혈압입니다. 집단마다 200명을 미리 뽑아 두고 앞에서부터 n 명을 씁니다.
논문 그림의 오차 막대는 SD 일 수도, SE 일 수도, 신뢰구간일 수도 있습니다. 같은 자료라도 SE 막대는 SD 막대보다 √n 배 짧아서, 두 집단이 뚜렷이 달라 보이게 됩니다. 그래서 그림 설명에 어느 막대인지 적어야 하고, 읽는 사람은 그것부터 확인합니다. 자료가 얼마나 퍼져 있는지 보이려면 SD 를, 평균을 얼마나 정확히 추정했는지 보이려면 SE 나 신뢰구간을 씁니다(출처의 Altman 과 Bland, Cumming 등). 막대가 겹치는지만 보고 「차이가 있다·없다」를 정하지는 않습니다. 그 판단은 가설 검정에서 다룹니다.
해 볼 것. ① 처음(n = 20)에 가 집단은 SD 11.64, SE 2.6 입니다. 아래 그림에서 SD 막대는 두 집단이 18.02 만큼 겹치고, SE 막대는 0.44 떨어져 있습니다. 같은 자료인데 왼쪽은 「거의 같다」, 오른쪽은 「다르다」처럼 보입니다. ② n 을 200 으로 올리면 SD 는 11.86 으로 거의 그대로이고 SE 만 0.84 로 줄어 SE 막대 사이가 5.99 로 벌어집니다. ③ n 을 5 로 내리면 SE 가 4.89 로 커져 SE 막대도 2.19 만큼 겹칩니다.
7. 중심극한정리와 조심할 때
실험에서 「한쪽으로 치우친」이나 「봉우리 둘」 모집단을 골라도 n 을 키우면 ③ 칸이 종 모양이 됩니다. 이것이 중심극한정리입니다. 독립인 값을 많이 평균 내면, 하나하나의 모양이 무엇이었든 평균은 정규분포에 가까워집니다(확률분포 쪽의 주사위 실험). 표준오차 σ ÷ √n 은 값들이 독립이기만 하면 모집단의 모양과 상관없이 맞습니다. 종 모양이 되느냐는 따로이고, n 에 달려 있습니다.
- 표본이 작을 때. 치우친 모집단에서 n = 2 면 ③ 칸도 치우칩니다. 이때 종 모양을 가정하는 계산(예: 「평균 ± 2 × SE 안에 약 95%」)은 맞지 않습니다.
- 많이 치우칠수록 더 큰 n. 「30명쯤이면 된다」는 어림 말이 있지만 정해진 값이 아닙니다. 꼬리가 길수록, 튀는 값이 많을수록 더 많이 필요합니다. 먼저 자료를 히스토그램으로 그려 봅니다.
- 독립이 아닐 때. 같은 사람을 여러 번 잰 값, 한 가족, 한 접시에서 나온 세포처럼 서로 닮은 것들을 따로 n 개로 세면, σ ÷ √n 은 표준오차를 실제보다 작게 추정합니다. 정보가 n 개만큼 있지 않기 때문입니다.
- 아주 크게 튀는 값이 너무 자주 나오는 분포. 분산이 끝없이 커지는 분포에서는 중심극한정리가 맞지 않습니다.
8. 비율의 표준오차
「예·아니요」로 나오는 자료도 같은 생각으로 다룹니다. 「예」를 1, 「아니요」를 0 으로 적으면 평균이 곧 「예」의 비율 p̂ 입니다. 0 과 1 만 나오는 값의 분산은 p(1 − p) 입니다(1 이 p 의 확률로, 0 이 1 − p 의 확률로 나오면 평균 p 에서의 거리의 제곱을 평균 내어 p(1 − p)² + (1 − p)p² = p(1 − p)). 그래서 σ ÷ √n 에 넣으면 SE = √(p(1 − p) ÷ n) 입니다. 예를 들어 지어낸 세포 100개 가운데 20개가 염색됐다면 p̂ = 0.2, SE = √(0.2 × 0.8 ÷ 100) = √0.0016 = 0.04, 곧 4%p 입니다. 400개를 세면 0.02 로 절반입니다. p 를 모르면 p̂ 를 넣어 추정합니다. p 가 0.5 일 때 가장 크고(n = 100 이면 0.05), 0 이나 1 에 가까우면 작아집니다. p 가 0 이나 1 에 가깝고 n 이 작으면 표집분포가 종 모양에서 멀어지니 조심합니다.
9. n − 1 로 나누는 까닭
σ 를 모르니 표본으로 추정합니다. 분산은 「평균까지 거리의 제곱을 평균 낸 것」인데, 표본에서는 진짜 평균 μ 대신 표본 평균 x̄ 까지 잽니다. 그런데 x̄ 는 그 표본의 한가운데에 딱 맞춰져 있어서, x̄ 까지 잰 거리의 제곱의 합은 μ 까지 잰 것보다 늘 같거나 작습니다. 그래서 n 으로 나누면 평균적으로 σ² × (n − 1) ÷ n 이 나옵니다(여기서는 증명하지 않고 아래 시뮬레이션으로 확인합니다). n − 1 로 나누면 그만큼 키워져 평균적으로 σ² 에 맞습니다. 이것이 표본 분산입니다(확률분포 쪽 3절의 짧은 설명과 같은 이야기입니다).
종 모양 모집단(σ² = 144)에서 n 명짜리 표본을 20,000번 뽑아, 표본마다 두 가지로 분산을 재고 평균 냅니다. 고정 시드라 같은 n 이면 늘 같은 숫자가 나옵니다.
해 볼 것. ① 처음(n = 5)에는 n 으로 나눈 분산의 평균이 115.6 으로 참값 144 의 80.27% 입니다. 식 144 × 4 ÷ 5 = 115.2 와 가깝습니다. n − 1 로 나눈 것은 144.49 입니다. ② n = 2 면 n 으로 나눈 것이 71.91, 거의 절반(49.94%)입니다. 두 사람이면 x̄ 가 두 값의 한가운데라 거리가 가장 짧게 잡히기 때문입니다. n − 1 로 나누면 143.82. ③ n = 30 이면 139.14(96.63%)와 143.94 로 차이가 작아집니다. n 이 크면 어느 쪽으로 나누든 거의 같습니다.
10. 부트스트랩: 가진 표본에서 다시 뽑기
평균에는 σ ÷ √n 이라는 식이 있지만, 중앙값이나 두 집단의 비처럼 식이 복잡하거나 없는 통계량도 많습니다. 그럴 때 부트스트랩을 씁니다. 가진 표본 n 개를 모집단 대신 씁니다. 그 안에서 n 개를 다시 뽑고(같은 것을 또 뽑을 수 있게), 통계량을 계산하는 일을 수천 번 합니다. 그 값들이 흩어진 정도(표준편차)를 표준오차의 추정값으로 씁니다. 실험 ① 이 모집단에서 하는 일을, 모집단을 모르니 표본 안에서 하는 셈입니다. 컴퓨터가 계산을 대신해 줄 뿐 마법은 아닙니다. 표본이 작거나 치우쳐 있으면 부트스트랩도 그 표본이 아는 만큼만 압니다.
# 파이썬 표준 라이브러리만으로. values 는 지어낸 혈압
import random, statistics
values = [118, 131, 109, 125, 122, 140, 115, 127, 119, 133]
se = statistics.stdev(values) / len(values) ** 0.5 # s ÷ √n (stdev 는 n − 1 로 나눈다)
random.seed(1)
boot = [statistics.median(random.choices(values, k=len(values))) for _ in range(5000)]
statistics.pstdev(boot) # 중앙값의 표준오차를 부트스트랩으로 추정
11. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 표본 평균들의 평균 = μ | 무작위로 뽑으면 표본 평균은 어느 한쪽으로 기울지 않는다. 흔들릴 뿐이다 | ① 의 표: 119.97 |
| SE = σ ÷ √n | 사람을 네 배 뽑아야 표준오차가 절반이 된다 | ① 의 n = 4, 36, 144, 5절 |
| SD 는 그대로, SE 만 준다 | 사람을 늘리면 평균만 더 정확해진다. 사람마다의 차이는 그대로다 | 6절의 두 막대 |
| n 이 크면 표집분포는 종 모양 | 모집단이 치우쳐 있어도, 봉우리가 둘이어도(중심극한정리). 작은 n 에서는 아니다 | ① 의 세 모양 |
| 편향은 n 으로 줄지 않는다 | 표준오차는 무작위로 뽑았을 때의 흔들림만 잰다 | 2절 |
어디에 쓰나
- 신뢰구간. 표준오차로 「모집단 평균이 있을 만한 범위」를 적습니다. 표집분포가 종 모양이면 대략
x̄ ± 1.96 × SE입니다. 다음 주제 신뢰구간이 이것을 자세히 봅니다. - 가설 검정과 t 검정. 「두 평균의 차이가 표준오차 몇 개만큼인가」로 우연인지를 따집니다(가설 검정, t 검정).
- 표본 크기 정하기. 원하는 표준오차에서 n 을 거꾸로 구합니다.
n = (σ ÷ SE)². σ = 12 에서 SE 를 1 로 하고 싶으면 144명입니다(표본 크기). - 평균을 적을 때. 「평균 120」만 적지 않고 「평균 120, SE 2」나 신뢰구간을 같이 적어 얼마나 믿을 만한지 알립니다. 오차 막대가 SD 인지 SE 인지도 적습니다.
- 개발에서. A/B 시험의 전환율은 비율이라
√(p(1 − p) ÷ n)으로 흔들림을 잽니다. 모델의 평가 점수가 시험 자료를 바꾸면 얼마나 흔들리는지는 부트스트랩으로 추정합니다.
자주 묻는 것
표준편차와 표준오차는 무엇이 다른가요?
표준편차는 한 사람 한 사람이 평균에서 얼마나 떨어져 있는지, 곧 자료가 퍼진 정도입니다. 표준오차는 표본을 다시 뽑는다면 표본 평균이 얼마나 흔들릴지, 곧 평균을 얼마나 정확히 추정했는지입니다. 표준오차는 표준편차를 √n 으로 나눈 값이라 사람을 더 모으면 줄지만, 표준편차는 줄지 않습니다.
표본을 늘리면 표준편차도 줄어드나요?
아닙니다. 사람을 더 모아도 사람마다의 차이는 그대로라서 표준편차는 모집단의 σ 근처에 머뭅니다. 더 정확히 잴 뿐입니다. 사람을 늘릴수록 줄어드는 것은 표준오차입니다.
모집단이 정규분포가 아니어도 되나요?
표준오차 σ ÷ √n 은 값들이 서로 독립이면 모집단의 모양과 상관없이 맞습니다. 다만 표집분포가 종 모양이 되려면 표본이 충분히 커야 하고, 모집단이 많이 치우쳐 있을수록 더 커야 합니다. 표본이 작은데 모집단이 치우쳐 있으면 종 모양을 가정한 계산을 조심합니다.
모집단이 크면 표본도 커야 하나요?
모집단이 표본보다 훨씬 크면 거의 상관없습니다. 표준오차는 표본의 크기 n 으로 정해지고, 모집단의 크기는 거의 들어가지 않습니다. 1만 명 가운데 100명을 뽑든 1,000만 명 가운데 100명을 뽑든 표준오차는 거의 같습니다. 표본이 모집단의 큰 몫을 차지할 때만 조금 작아집니다.
표본을 아무리 늘려도 줄지 않는 오차가 있나요?
있습니다. 표본이 치우치게 뽑혔다면(예: 스스로 재러 온 사람만 모은 경우) 그 편향은 사람을 늘려도 그대로입니다. 재는 기계가 늘 조금 높게 재는 것 같은 편향도 마찬가지입니다. 표준오차는 무작위로 뽑았을 때 생기는 우연한 흔들림만 잽니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 알고 싶은 전체 | 모집단(population) |
| 뽑아서 잰 일부, 그 수 | 표본(sample), 표본 크기(sample size) n |
| 모집단의 숫자 μ, σ, p | 모수(parameter) |
| 표본으로 계산한 숫자 x̄, s, p̂ | 통계량(statistic). 모수를 추정하려고 쓰면 추정량(estimator) |
| 누구나 같은 확률로 뽑기 | (단순) 무작위 추출(simple random sampling) |
| 뽑힌 사람도 다시 뽑힐 수 있게 | 복원 추출(sampling with replacement) |
| 한쪽으로 기운 표본 | 편향된 표본(biased sample), 선택 편향(selection bias) |
| 표본 평균들이 흩어진 모양 | 표집분포, 표본분포(sampling distribution) |
| 평균이 흩어진 정도 σ ÷ √n | 표준오차(standard error, SE), 평균의 표준오차(standard error of the mean, SEM) |
| 한 사람 한 사람이 흩어진 정도 | 표준편차(standard deviation, SD) |
| n − 1 로 나눈 분산 | 표본 분산(sample variance). n − 1 로 나누는 것은 베셀 보정(Bessel's correction) |
| 평균적으로 참값에 맞는 | 불편(unbiased), 불편 추정량(unbiased estimator) |
| 평균 내면 종 모양이 된다 | 중심극한정리(central limit theorem, CLT) |
| 서로 영향을 주지 않는 | 독립(independent) |
| 「예」의 몫 | 비율(proportion). 표본 비율은 p̂ |
| 가진 표본에서 다시 뽑기 | 부트스트랩(bootstrap), 재표집(resampling) |
| 그림의 흩어짐 표시 | 오차 막대(error bar) |
| 표본이 모집단의 큰 몫일 때 줄이는 값 | 유한 모집단 보정(finite population correction) |
| 난수의 처음 값 | 시드(seed) |
출처
- Douglas G. Altman, J. Martin Bland, Standard deviations and standard errors, BMJ. 표준편차와 표준오차를 언제 쓰는지.
- Geoff Cumming, Fiona Fidler, David L. Vaux, Error bars in experimental biology, Journal of Cell Biology. 오차 막대가 무엇인지 그림 설명에 적어야 하는 까닭.
- Bradley Efron, Bootstrap Methods: Another Look at the Jackknife, The Annals of Statistics. 부트스트랩의 원 논문.
- OpenIntro Statistics(무료 교과서). 표집분포, 표준오차, 중심극한정리의 조건, 비율의 표준오차.
- 파이썬 문서: statistics(stdev, pstdev, median), random(choices: 복원 추출).