t 검정: 두 평균이 다른지 따지기
새 약을 먹은 5명의 혈압이 가짜 약을 먹은 5명보다 평균 6 mmHg 낮았습니다. 약 때문일까요, 사람을 우연히 그렇게 뽑았기 때문일까요? t 검정은 이 물음에 숫자 하나로 답합니다. 이 쪽의 자료는 모두 지어낸 것이고, 통계 개념을 설명하려고 만든 것입니다. 의학적 판단의 근거가 아닙니다.
한 줄 답. t 검정은 평균의 차이를 「그 차이가 우연히 흔들리는 폭」(표준오차)으로 나눈 값 t 를 보고, 그만큼 큰 t 가 우연히 나오기 얼마나 어려운지(p값)를 따집니다. 한 집단을 기준값과 비교하는 한 표본, 서로 다른 두 집단을 비교하는 독립 두 표본, 같은 사람의 전후를 비교하는 대응 t 검정 세 가지가 있습니다.
점을 좌우로 끌거나, 점을 고르고 값을 고쳐 보세요. 막대 셋은 자료 전체를 바꿉니다. 「평균 차이」는 B 집단을 통째로 옮기고, 「표준편차」는 두 집단을 각자의 평균을 가운데로 늘이거나 줄이고(막대의 값은 두 분산의 평균의 제곱근), 「사람 수 n」은 집단마다 평균과 표준편차를 그대로 둔 채 점을 새로 놓습니다. 위쪽 세로선은 평균, 옅은 띠는 평균 ± 표준편차, 주황 화살표는 평균 차이입니다. 아래는 t 분포 곡선입니다. 파란 선이 지금의 t, 주황으로 칠한 양쪽 꼬리의 넓이가 p값, 보라 점선이 양측 5% 임계값(critical value)입니다. 계산은 웰치 방식(8절)입니다.
1. t 는 신호 ÷ 잡음
같은 약을 먹은 사람끼리도 혈압은 제각각입니다. 그래서 누구를 뽑았느냐에 따라 집단의 평균이 달라집니다. 약에 아무 효과가 없어도 두 집단의 평균은 거의 언제나 조금은 다르게 나옵니다. 평균이 6 다르다는 것만으로는 약 때문인지 알 수 없습니다.
그래서 t 검정은 차이(신호)를 「아무 효과가 없어도 우연만으로 생기는 차이의 크기」(잡음)와 비교합니다. 잡음의 크기를 표준오차라고 부르고, 둘의 비가 t 입니다.
t = (평균₁ − 평균₂) ÷ √(s₁²/n₁ + s₂²/n₂)
평균₁, 평균₂ 는 두 집단의 평균, s₁, s₂ 는 두 집단의 표준편차(n − 1 로 나눈 표본 표준편차, 기술통계), n₁, n₂ 는 사람 수입니다. 아래쪽 √(…) 가 차이의 표준오차입니다. 왜 이런 모양인지는 3절에서 한 단계씩 만들어 봅니다.
t 가 0 에 가까우면 차이가 잡음 속에 묻혀 있다는 뜻이고, t 가 크면(양수든 음수든) 우연만으로는 나오기 어려운 차이라는 뜻입니다. 「얼마나 어려운가」를 확률로 적은 것이 p값입니다. 두 평균이 정말 같다고 놓았을 때 지금만큼 또는 그보다 더 큰 |t| 가 나올 확률입니다. 실험 아래 곡선에서 주황으로 칠한 양쪽 꼬리의 넓이가 p값입니다. p값이 미리 정해 둔 기준(흔히 0.05)보다 작으면 「두 평균이 같다」는 가정을 버립니다. 이 생각의 틀은 가설검정과 p값에서 자세히 봅니다.
식을 보면 t 를 키우는 길이 셋입니다. 실험의 막대 셋이 이것입니다.
| 바꾸는 것 | t 는 | 까닭 |
|---|---|---|
| 평균 차이를 키운다 | 차이에 비례해 커진다 | 신호가 커진다 |
| 집단 안 표준편차를 줄인다 | 표준편차에 반비례해 커진다 | 잡음이 줄어든다 |
| 사람 수 n 을 늘린다 | √n 에 비례해 커진다 | 평균이 덜 흔들려 잡음이 줄어든다. t 를 2배로 하려면 사람을 4배로 |
2. 손으로 풀어 보기
위 실험의 처음 모습입니다. 가짜 약 집단 A 5명과 약 집단 B 5명의 수축기 혈압(지어낸 값, mmHg)입니다.
| A 가짜 약 | B 약 | |
|---|---|---|
| 값 | 131, 132, 133, 135, 139 | 123, 127, 129, 130, 131 |
| 평균 | 670 ÷ 5 = 134 | 640 ÷ 5 = 128 |
| 평균까지의 거리 | −3, −2, −1, 1, 5 | −5, −1, 1, 2, 3 |
| 거리의 제곱 | 9, 4, 1, 1, 25 (합 40) | 25, 1, 1, 4, 9 (합 40) |
| 분산 s² (n − 1 = 4 로 나눔) | 40 ÷ 4 = 10 | 40 ÷ 4 = 10 |
- 신호: 평균 차이 = 134 − 128 = 6
- 평균 하나의 흔들림의 제곱: s₁²/n₁ = 10 ÷ 5 = 2, s₂²/n₂ = 10 ÷ 5 = 2
- 잡음(차이의 표준오차): √(2 + 2) = √4 = 2
- t = 6 ÷ 2 = 3
- 자유도(4절): 웰치 식으로 (2 + 2)² ÷ (2² ÷ 4 + 2² ÷ 4) = 16 ÷ 2 = 8. 두 집단의 분산과 사람 수가 같아서 n₁ + n₂ − 2 = 8 과 같습니다.
- p값: 자유도 8 인 t 분포에서 ±3 바깥의 넓이 = 0.0171. 두 평균이 정말 같다면 이만큼 또는 더 큰 |t| 는 100번에 2번이 안 되게 나옵니다.
- 95% 신뢰구간: 자유도 8 의 양측 5% 임계값은 2.306 입니다. 6 ± 2.306 × 2 = 6 ± 4.61, 곧 1.39 ~ 10.61 mmHg.
- 효과 크기(9절): d = 6 ÷ √10 = 1.90.
해 볼 것. ① 처음 모습이 위 손 계산입니다. t = 3.00, 자유도 8, p = 0.0171, 신뢰구간 1.39 ~ 10.61 입니다. ② 「평균 차이」 막대를 12 로 옮기면 t = 6.00, p = 0.0003 입니다. 신호가 2배면 t 도 2배입니다. ③ 처음 모습에서 「표준편차」를 1.6 으로 줄이면 t = 5.93, 6.3 으로 늘리면 t = 1.51, p = 0.1705 입니다. ④ 처음 모습에서 「사람 수 n」을 20 으로 올리면 평균과 표준편차는 그대로인데 t = 6.00, 자유도 38 이 됩니다. 사람을 4배로 늘려 t 가 2배가 됐습니다. n 을 2 로 내리면 t = 1.90, p = 0.1982 입니다. ⑤ 「표준편차가 큼」은 평균은 그대로 두고 표준편차만 3배로 키운 자료입니다. t = 1.00, p = 0.3466 이고, 신뢰구간 −7.84 ~ 19.84 가 0 을 품습니다. ⑥ 「차이 없음」은 평균 130, 표준편차 8 인 한 집단에서 20명을 뽑아 둘로 나눈 자료입니다. 그래도 평균 차이 2.3, t = 0.71 이 나옵니다. 차이가 없어도 t 는 0 이 아닙니다.
3. 식이 만들어지는 과정
식 t = (평균₁ − 평균₂) ÷ √(s₁²/n₁ + s₂²/n₂) 를 한 단계씩 만들어 봅니다. 자료는 손 예제와 같습니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다.
- 신호:
평균₁ − 평균₂. 134 − 128 = 6. 이 숫자만으로는 큰지 작은지 모릅니다. 잣대가 필요합니다. - 평균 하나의 흔들림:
s ÷ √n. 값 하나는 평균에서 표준편차 s(여기서 3.16)만큼쯤 흩어지지만, 5명의 평균은 3.16 ÷ √5 = 1.41 만큼쯤만 흔들립니다. 여럿을 평균하면 흔들림이 서로 지워지기 때문입니다. 왜 √n 인지는 표본과 표집분포에서 봅니다. - 차이의 흔들림: 분산을 더한다
s₁²/n₁ + s₂²/n₂. 두 집단의 사람이 서로 다르면(독립이면) 두 평균은 따로 흔들립니다. 그때 차이의 흔들림은 표준편차끼리가 아니라 분산(흔들림의 제곱)끼리 더한 만큼입니다. 2 + 2 = 4. 그림에서는 정사각형의 넓이가 분산입니다. 독립이면 분산이 더해진다는 것은 여기서 증명하지 않습니다. - 제곱근:
√(s₁²/n₁ + s₂²/n₂). 제곱을 풀어 단위를 mmHg 로 되돌립니다. √4 = 2. 이것이 차이의 표준오차(잡음)입니다. 표준오차를 그냥 더한 1.41 + 1.41 = 2.83 보다 작습니다. 두 집단이 같은 쪽으로 크게 흔들리는 일은 드물기 때문입니다. - 신호 ÷ 잡음:
t = (평균₁ − 평균₂) ÷ √(…). 6 ÷ 2 = 3. 차이가 0 에서 표준오차 3개만큼 떨어져 있습니다. 나누면서 단위가 지워져 t 에는 단위가 없습니다. - t 분포에 비교한다. 진짜 표준편차 σ 는 모르니 표본에서 잰 s 로 대신했습니다. s 도 흔들리므로 정규분포가 아니라 꼬리가 두꺼운 t 분포에 비교합니다(4절). ±3 바깥의 넓이는 자유도 8 의 t 분포로 0.0171, 정규분포로 셌다면 0.0027 입니다. 정규분포로 세면 p 를 여섯 배쯤 작게 잡습니다.
두 집단의 표준편차가 같다고 보는 방식(스튜던트 t 검정)은 s₁², s₂² 를 따로 쓰지 않고 둘을 합친 분산 하나를 씁니다(8절). 사람 수가 같으면 두 방식의 t 는 같고, 자유도만 다를 수 있습니다.
4. t 분포와 자유도
3절의 마지막 단계를 조금 더 봅니다. 표준오차를 낼 때 진짜 표준편차 σ(모집단 표준편차)는 모르니, 표본에서 잰 s 로 대신했습니다. 그런데 s 도 표본마다 흔들립니다. 사람이 적으면 우연히 s 가 작게 나올 때가 있고, 그러면 t 가 실제보다 크게 나옵니다. 그래서 값이 종 모양으로 흩어져 있고 두 평균이 같을 때, t 는 정규분포보다 큰 값이 더 자주 나오는 꼬리가 두꺼운 분포를 따릅니다(웰치 방식에서는 근사로). 이것이 t 분포입니다.
t 분포의 모양은 숫자 하나, 자유도로 정해집니다. 자유도는 「표준편차를 추정하는 데 쓸 수 있는 독립된 정보의 개수」입니다. 값이 n 개 있어도 평균을 구하는 데 하나를 썼으므로, 평균까지의 거리 n 개 가운데 마지막 하나는 나머지로 정해집니다(거리의 합은 언제나 0). 그래서 한 집단이면 n − 1, 두 집단의 분산을 합치면 n₁ + n₂ − 2 입니다. 웰치 방식은 두 집단의 분산과 사람 수로 자유도를 근사해서 4.1 처럼 소수가 나오기도 합니다. 자유도가 클수록 s 가 σ 에 가까워져 t 분포는 정규분포에 붙습니다.
막대나 숫자 칸으로 자유도를 바꿔 보세요. 검은 곡선이 t 분포, 회색 점선이 정규분포입니다. 주황으로 칠한 양쪽 꼬리가 t 분포의 5%(한쪽 2.5%씩)이고, 주황 선이 그 임계값 t*입니다. 그림 밖으로 나가면 끝에 화살표로 적습니다. 보라 점선 ±1.96 은 정규분포의 5% 임계값입니다.
해 볼 것. ① 처음 자유도 3 에서 양측 5% 임계값은 3.182 이고, ±1.96 바깥이 나올 확률은 14.5% 입니다. 정규분포라면 5% 일 자리입니다. ② 자유도 1 이면 임계값이 12.706 으로 그림 밖에 있고, ±1.96 바깥이 30.0%, ±3 바깥이 20.48% 입니다. ③ 자유도를 8(손 예제), 30, 100 으로 올리면 임계값이 2.306, 2.042, 1.984 로 줄며 1.960 에 다가가고, 곡선이 정규분포 점선에 붙습니다. 100 에서도 ±3 바깥은 0.34% 로, 정규분포의 0.27% 보다 조금 큽니다.
| 자유도 | 1 | 2 | 5 | 8 | 10 | 30 | 100 | ∞ (정규) |
|---|---|---|---|---|---|---|---|---|
| 양측 5% 임계값 t* | 12.706 | 4.303 | 2.571 | 2.306 | 2.228 | 2.042 | 1.984 | 1.960 |
이 표는 외워 적은 것이 아니라 이 쪽의 실험이 계산한 값입니다. t 분포의 넓이는 정칙화 불완전 베타 함수로 셉니다(DLMF §8.17의 연분수). 파이썬 scipy.stats.t 와 비교한 차이는 상대 오차로 10⁻¹¹ 보다 작습니다. t 분포는 윌리엄 고셋(William Sealy Gosset)이 1908년 「Student」라는 이름으로 Biometrika 에 낸 논문 「The Probable Error of a Mean」으로 널리 알려져 「스튜던트 t 분포」라고도 부릅니다.
5. p값 읽기, 단측·양측 검정
양측 검정(two-sided test)은 어느 쪽으로든 차이가 나는지 봅니다. 곡선의 양쪽 꼬리를 더합니다. 보통은 이것을 씁니다. 단측 검정(one-sided test)은 「약 집단이 더 낮다」처럼 방향을 자료를 보기 전에 정해 두었을 때만 씁니다. 꼬리 하나만 보므로, 방향이 맞으면 p 가 양쪽의 절반입니다. 손 예제라면 0.0171 의 절반인 0.0085 입니다. 자료를 보고 나서 맞는 쪽을 고르면 「5% 기준」이 사실상 10% 가 됩니다.
p값은 흔히 잘못 읽힙니다.
| 이렇게 읽으면 틀린다 | 맞게 읽으면 |
|---|---|
| p = 0.017 이니 두 평균이 같을 확률이 1.7% 다 | p 는 「두 평균이 같다」고 놓고 계산한, 이만큼 또는 더 큰 t 가 나올 확률이다. 그 가정이 맞을 확률이 아니다 |
| p = 0.35 니 차이가 없다 | 차이를 찾지 못했을 뿐이다. 사람이 적거나 표준편차가 크면 실제로 있는 차이도 놓친다(1종·2종 오류와 검정력). 신뢰구간이 0 을 품고 넓으면 「모른다」에 가깝다 |
| p 가 작을수록 차이가 크다 | 사람이 많으면 아주 작은 차이도 p 가 작아진다. 차이의 크기는 효과 크기와 신뢰구간으로 따로 본다(9절) |
| p < 0.05 니 중요한 결과다 | 「우연만으로는 설명하기 어렵다」는 뜻일 뿐이다. 그 차이가 실제로 쓸모 있는 크기인지는 그 분야의 판단이다 |
| 95% 신뢰구간 1.39 ~ 10.61 안에 참값이 있을 확률이 95% 다 | 이 방법으로 구간을 만들면, 여러 번 했을 때 100번 가운데 95번쯤 참값을 덮는다는 뜻이다. 한 번 만든 구간은 참값을 덮었거나 못 덮었거나 둘 중 하나다(신뢰구간) |
6. 세 가지 t 검정: 언제 무엇을 쓰나
| 종류 | 묻는 말 | 예(지어낸 상황) | t 는 | 자유도 |
|---|---|---|---|---|
| 한 표본 | 한 집단의 평균이 정해 둔 기준값과 다른가 | 세포 배양액 12개의 평균 pH 가 7.4 와 다른가 | (평균 − 기준값) ÷ (s ÷ √n) | n − 1 |
| 독립 두 표본 | 서로 다른 사람들로 된 두 집단의 평균이 다른가 | 약 집단과 가짜 약 집단의 혈압(1~3절) | (평균₁ − 평균₂) ÷ √(s₁²/n₁ + s₂²/n₂) | 웰치 식(소수일 수 있다). 같다고 보는 방식은 n₁ + n₂ − 2 |
| 대응 | 같은 사람(또는 짝지은 쌍)에서 잰 두 값이 다른가 | 같은 10명의 약 먹기 전과 후의 혈압(7절) | 쌍마다 차이 d 를 내서 한 표본 t: 평균(d) ÷ (s_d ÷ √n) | 쌍의 수 − 1 |
고르는 법은 간단합니다. 같은 사람을 두 번 쟀거나 짝을 지어 쟀으면 대응, 서로 다른 사람들이면 독립 두 표본, 기준값 하나와 비교하면 한 표본입니다. 대응 t 검정은 사실 「차이값들에 대한 한 표본 t 검정(기준값 0)」입니다.
7. 대응 t 검정: 같은 사람의 전과 후
같은 10명에게 약을 먹이기 전과 후에 혈압을 쟀습니다(지어낸 값). 사람마다 바탕 혈압이 122 에서 160 까지 크게 다릅니다. 두 집단(전, 후)으로 놓고 비교하면 이 사람 사이의 차이가 모두 잡음이 되어, 평균 5 의 변화가 묻힙니다. 같은 사람끼리 빼면 바탕값이 지워지고 변화만 남습니다. 변화는 −2 에서 −8 로 고릅니다.
점을 위아래로 끌거나, 사람을 고르고 숫자를 고쳐 보세요. 왼쪽은 전과 후를 사람마다 선으로 이은 것이고, 양옆 막대는 집단마다 평균 ± 표준편차입니다. 오른쪽은 사람마다의 차이(후 − 전)이고, 주황 선이 그 평균, 옅은 띠가 ± 표준편차입니다. 「쌍 섞기」는 「후」 값을 사람들 사이에서 섞습니다. 누가 누구인지 기록을 잃은 것과 같습니다. 섞는 차례는 고정 시드라 「처음 쌍으로」를 누른 뒤 다시 섞으면 같은 차례로 섞입니다.
해 볼 것. ① 처음에는 두 집단으로 본 검정이 t = −0.93, p = 0.3665 로 차이를 잡지 못하지만, 대응 검정은 t = −8.66, p < 0.0001 입니다. 평균 차이는 둘 다 −5.0 으로 같고, 다른 것은 잡음입니다. 두 집단으로 보면 표준오차가 5.40, 대응으로 보면 0.58 입니다. ② 「쌍 섞기」를 한 번 누르면 대응 검정이 t = −0.80, p = 0.4437 로 떨어집니다. 차이의 표준편차가 1.83 에서 19.74 로 커졌기 때문입니다. 두 집단으로 본 검정은 쌍을 보지 않으므로 그대로입니다. ③ 처음 쌍에서 한 사람의 「후」만 끌어 올려 보세요. 차이들이 고르지 않게 되어 대응 검정의 t 가 빠르게 작아집니다.
대응 검정은 쌍이 제대로 맞아야 쓸 수 있습니다. 또 전후 비교만으로는 변화가 약 때문인지, 시간이 지나서인지, 처음에 높게 잰 사람이 다음에는 덜 높게 재지는 경향(평균으로의 회귀) 때문인지 가를 수 없습니다. 그래서 약을 먹지 않는 대조군을 두고 사람을 무작위로 나눕니다(무작위 배정과 대조군). 같은 사람을 여러 번 재는 설계는 반복 측정과 교차 설계에서 봅니다.
8. 가정, 그리고 깨질 때
t 검정의 p값이 맞으려면 몇 가지가 필요합니다.
| 가정 | 뜻 | 깨지면 |
|---|---|---|
| 독립 | 한 사람의 값이 다른 사람의 값에 영향을 주지 않는다. 한 사람을 두 번 넣지 않는다 | 정보가 실제보다 많다고 착각해 p 가 너무 작게 나오기 쉽다. 짝지은 자료는 대응 검정으로 |
| 대략 종 모양 | 집단마다 값이 심하게 치우치거나 이상치(outlier)가 없다. 사람이 많으면 평균은 중심극한정리로 종 모양에 가까워져 덜 민감하다(정규분포) | 사람이 적고 치우치면 p 를 믿기 어렵다. 이상치 하나가 결과를 흔든다 |
| 등분산 | 웰치 방식은 두 집단의 표준편차가 달라도 된다. 같다고 보는 방식(스튜던트)은 같다고 가정한다 | 표준편차와 사람 수가 함께 다르면 같다고 보는 방식의 p 가 크게 틀린다(아래 실험) |
| 표준오차 | t | 자유도 | 양측 p | |
|---|---|---|---|---|
| 웰치 | ||||
| 같다고 보는 방식(스튜던트) |
위 단추로 자료를 고르세요. 그림은 첫 실험과 같고, 보라 점선이 중앙값(크기 순으로 줄 세운 가운데 값)입니다. 표는 같은 자료를 두 방식으로 계산한 결과입니다. 아래 둘째 줄은 「차이가 없을 때」의 시늉입니다. 지금 자료와 사람 수·표준편차가 같고 평균만 같은 종 모양 집단 둘을 2,000번 뽑아, p < 0.05 가 나온 비율을 셉니다. 차이가 없으니 5% 근처여야 맞고, 그보다 많으면 그 방식이 없는 차이를 너무 자주 찾는다는 뜻입니다. 2,000번이라 1%p 안팎은 우연히 오르내립니다. 「치우친 자료」는 회복까지 걸린 날(지어낸 값)입니다.
해 볼 것. ① 「손 예제」는 두 방식의 결과가 같습니다(t = 3.00, 자유도 8, p = 0.0171). 두 집단의 사람 수와 분산이 같기 때문입니다. ② 「이상치」는 A 의 다섯째 값을 139 에서 180 으로 바꾼 자료입니다. 평균 차이는 6.0 에서 14.2 로 커졌는데 t 는 3.00 에서 1.48 로 줄고, 웰치의 p 는 0.2094 가 됩니다. 이상치 하나가 A 의 표준편차를 3.16 에서 21.18 로 키워 잡음이 신호보다 더 크게 늘었습니다. 중앙값은 133.0 그대로입니다. 막대를 139 로 돌리면 손 예제와 같고, 220 이면 t = 1.27 입니다. ③ 「치우친 자료」는 10명씩, 오른쪽 꼬리가 깁니다. 중앙값은 3.5 일과 8.5 일로 크게 다르지만, 꼬리의 큰 값 몇 개가 평균과 표준편차를 끌어당겨 t = −1.39, p = 0.1847 입니다. ④ 「표준편차가 다름」은 표준편차가 큰 집단 A 가 사람도 적은(5명 대 15명) 경우입니다. 같다고 보는 방식은 t = 2.49, p = 0.0227 로 「차이 있음」이라 하고, 웰치는 t = 1.46, 자유도 4.1, p = 0.2154 입니다. 차이가 없을 때의 시늉에서 p < 0.05 가 나온 비율은 웰치 5.5%, 같다고 보는 방식 25.4% 입니다. 5% 여야 할 것이 네 번에 한 번꼴입니다.
같다고 보는 방식은 두 집단의 분산을 합쳐 하나로 씁니다.
합친 분산 s_p² = ((n₁ − 1)s₁² + (n₂ − 1)s₂²) ÷ (n₁ + n₂ − 2)t = (평균₁ − 평균₂) ÷ (s_p × √(1/n₁ + 1/n₂)), 자유도 n₁ + n₂ − 2
④ 에서는 사람이 많은 B(표준편차가 작다)가 합친 분산을 좌우합니다. 그래서 사람이 적은 A 의 큰 표준편차가 잡음에 덜 들어가 표준오차가 작게(웰치 6.93 대신 4.07) 나오고, t 가 부풀려집니다. 웰치 방식은 집단마다 자기 분산을 쓰고, 자유도를 아래 식으로 근사해 그만큼 줄입니다.
자유도 = (s₁²/n₁ + s₂²/n₂)² ÷ ((s₁²/n₁)² ÷ (n₁ − 1) + (s₂²/n₂)² ÷ (n₂ − 1))
표준편차가 정말 같으면 두 방식의 결과는 거의 같습니다. 그래서 표준편차가 같은지 먼저 검정해 고르지 말고 처음부터 웰치를 쓰라는 권고가 흔합니다(Ruxton 2006, Delacre 외 2017, 아래 출처). 다만 모두가 따르는 규칙은 아니고, 분야와 책마다 관례가 다를 수 있습니다. 도구의 기본값도 다릅니다. R 의 t.test 는 웰치가 기본이고, 파이썬 scipy 의 ttest_ind 는 같다고 보는 방식이 기본이라 equal_var=False 를 줘야 웰치가 됩니다.
이상치와 치우친 자료에는 값을 순위로 바꿔 비교하는 검정(맨-휘트니 U, 윌콕슨)을 쓰거나, 오른쪽으로 치우친 양수 자료라면 로그를 씌운 뒤 t 검정을 하기도 합니다. 비모수 검정에서 봅니다. 이상치를 그냥 지우는 것은 답이 아닙니다. 잘못 잰 것인지 먼저 확인하고, 뺐다면 뺀 사실과 까닭을 적습니다.
9. 결과를 적을 때: 효과 크기와 신뢰구간
p값 하나만 적지 않습니다. 차이가 얼마나 큰지(효과 크기)와 그 추정이 얼마나 정확한지(신뢰구간)를 같이 적습니다.
코헨의 d 는 평균 차이를 합친 표준편차로 나눈 값입니다. 「두 평균이 표준편차 몇 개만큼 떨어져 있나」입니다.
d = (평균₁ − 평균₂) ÷ s_p
손 예제는 d = 6 ÷ √10 = 1.90 입니다. 같다고 보는 방식의 t 와 d 는 t = d × √(n₁n₂ ÷ (n₁ + n₂)) 로 이어집니다. 1.90 × √(25 ÷ 10) ≈ 3.00. 사람이 늘면 t 는 커지지만 d 는 그대로입니다. 1절 실험에서 n 을 20 으로 올려도 d 는 1.90 입니다. 그래서 「얼마나 다른가」는 d 로, 「우연으로 설명되나」는 t 와 p 로 봅니다. d 가 큰지 작은지는 분야마다 다르니 같은 분야의 다른 연구와 비교합니다.
신뢰구간은 「차이가 이 범위쯤일 것」이라는 추정입니다. 손 예제의 1.39 ~ 10.61 은 0 을 품지 않습니다. 같은 웰치 방식이면 이것은 양측 p < 0.05 와 같은 말입니다. 동시에 차이가 1.4 mmHg 만큼 작을 수도, 10.6 만큼 클 수도 있다는 것을 보여 줍니다. 5명씩이라 범위가 넓습니다.
지어낸 결과로 적어 본 본보기 문장입니다: 「약 집단의 수축기 혈압이 가짜 약 집단보다 평균 6.0 mmHg 낮았다(집단마다 5명, 95% 신뢰구간 1.4 ~ 10.6, 웰치 t = 3.00, 자유도 8, 양측 p = 0.017, d = 1.90).」
10. 집단이 셋 이상이면
약 셋(A, B, C)을 비교하려고 t 검정을 짝마다(A–B, A–C, B–C) 세 번 하면, 차이가 없는데도 우연히 하나쯤 p < 0.05 가 나올 가능성이 커집니다. 검정 하나가 5% 라도, 셋이 서로 독립이라고 치면 적어도 하나가 걸릴 확률은 1 − 0.95³ ≈ 14.3% 입니다. 그래서 먼저 분산분석(ANOVA)으로 「평균들 가운데 다른 것이 있나」를 한 번에 묻고, 어느 짝이 다른지는 다중 비교의 방법으로 기준을 바로잡아 따집니다. 집단이 둘일 때 분산분석의 F 는 같다고 보는 방식의 t 를 제곱한 값과 같습니다.
11. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| t 에는 단위가 없다 | 평균 차이(mmHg)를 표준오차(mmHg)로 나눠 단위가 지워진다. 단위를 바꿔 적어도 t 와 p 는 같다 |
| t 는 √n 에 맞춰 커진다 | 차이와 표준편차가 같으면 사람을 4배로 늘릴 때 t 가 2배. 효과 크기 d 는 그대로 |
| 자유도가 작을수록 임계값이 크다 | 자유도 8 에서 2.306, 30 에서 2.042, ∞ 에서 1.960. 사람이 적으면 더 큰 t 가 있어야 「차이 있음」이다 |
| 대응 설계는 사람 사이의 차이를 지운다 | 같은 변화라도 쌍을 맞추면 잡음이 훨씬 작다. 쌍을 잃으면 그 힘도 잃는다 |
| 사람 수가 같으면 웰치와 스튜던트의 t 는 같다 | 달라지는 것은 자유도뿐이다. 사람 수와 표준편차가 함께 다를 때 결과가 크게 갈린다 |
어디에 쓰나
- 임상시험과 실험실. 약 집단과 대조 집단의 평균, 두 조건에서 기른 세포 수의 평균을 비교합니다. 실제 연구에서는 설계(무작위 배정, 눈가림), 미리 정한 사람 수, 여러 지표를 볼 때의 바로잡기가 함께 갑니다(임상시험 설계, 표본 크기 계산).
- 같은 대상을 두 번 잰 실험. 처리 전후, 왼쪽 눈과 오른쪽 눈, 쌍둥이처럼 짝지은 쌍은 대응 t 검정으로 봅니다.
- 개발에서. A/B 테스트에서 평균을 비교하는 지표(머문 시간, 응답 시간, 주문 금액)에 씁니다. 「눌렀나, 안 눌렀나」 같은 비율은 카이제곱 검정으로 봅니다. 응답 시간처럼 오른쪽 꼬리가 긴 값은 8절을 먼저 봅니다.
- 회귀의 결과표. 회귀 결과표에서 계수마다 붙은 t 와 p 도 같은 생각입니다. 계수 ÷ 그 표준오차입니다(상관과 회귀).
# 파이썬(scipy). 숫자는 이 쪽의 지어낸 자료
from scipy import stats
a = [131, 132, 133, 135, 139] # A 가짜 약
b = [123, 127, 129, 130, 131] # B 약
stats.ttest_ind(a, b, equal_var=False) # 웰치: t = 3.0, p ≈ 0.0171
stats.ttest_ind(a, b) # 기본값은 같다고 보는 방식(equal_var=True)
before = [128, 152, 141, 135, 160, 122, 147, 138, 155, 131]
after = [125, 145, 137, 129, 155, 120, 139, 133, 151, 125]
stats.ttest_rel(after, before) # 대응: t ≈ −8.66, p ≈ 0.0000117
stats.ttest_1samp(a, 130) # 한 표본: 기준값 130 과 비교한다
# R: t.test(a, b) 는 웰치가 기본, t.test(after, before, paired = TRUE) 는 대응
자주 묻는 것
t 검정은 언제 쓰나요?
숫자로 잰 값(혈압, 키, 세포 수)의 평균 둘을 비교하거나, 평균 하나를 정해 둔 기준값과 비교할 때 씁니다. 서로 다른 두 집단이면 독립 두 표본, 같은 사람을 두 번 쟀으면 대응, 기준값 하나와 비교하면 한 표본 t 검정입니다. 집단이 셋 이상이면 분산분석을, 예·아니오 같은 비율이면 카이제곱 검정을 씁니다.
p값이 0.05 보다 작으면 차이가 확실하다는 뜻인가요?
아닙니다. p값은 두 평균이 정말 같다고 놓았을 때 지금만큼 또는 더 큰 t 가 나올 확률입니다. 차이가 있을 확률도, 차이의 크기도 아닙니다. 차이가 얼마나 큰지는 효과 크기와 신뢰구간을 같이 보고 판단합니다.
웰치 t 검정과 스튜던트 t 검정 가운데 무엇을 쓰나요?
두 집단의 표준편차가 같다고 확신할 수 없으면 웰치를 쓰라는 권고가 흔합니다. 표준편차가 정말 같으면 두 결과는 거의 같고, 표준편차와 사람 수가 함께 다르면 스튜던트 방식의 p값이 크게 틀릴 수 있습니다. R 의 t.test 는 웰치가 기본이고, scipy 의 ttest_ind 는 equal_var=False 를 줘야 웰치가 됩니다.
사람이 몇 명이면 t 검정을 쓸 수 있나요?
정해진 수는 없습니다. 사람이 적을수록 값이 대략 종 모양이라는 가정에 더 기대게 되고, 실제로 있는 차이도 놓치기 쉽습니다. 필요한 사람 수는 찾고 싶은 차이의 크기와 표준편차로 미리 계산합니다(표본 크기 계산).
집단이 셋이면 t 검정을 세 번 하면 되나요?
그러면 차이가 없어도 우연히 하나쯤 p < 0.05 가 나올 가능성이 커집니다. 세 번이면 서로 독립이라고 칠 때 약 14% 입니다. 먼저 분산분석으로 한 번에 묻고, 어느 짝이 다른지는 다중 비교 방법으로 기준을 바로잡아 봅니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 신호 ÷ 잡음으로 낸 값 | t 통계량(t statistic) |
| 잡음, 평균(차이)이 우연히 흔들리는 폭 | 표준오차(standard error, SE) |
| 두 평균이 같다는 가정 | 귀무가설(null hypothesis, H₀) |
| 이만큼 큰 t 가 우연히 나올 확률 | p값(p-value), 유의확률 |
| 미리 정해 둔 기준(0.05) | 유의수준(significance level, α) |
| 꼬리 5% 를 가르는 경계 | 임계값(critical value), t* |
| 표준편차를 추정하는 데 쓸 수 있는 정보의 수 | 자유도(degrees of freedom, df, ν) |
| 한 집단을 기준값과 | 한 표본 t 검정(one-sample t-test) |
| 서로 다른 두 집단 | 독립 두 표본 t 검정(independent two-sample t-test) |
| 같은 사람의 전후, 짝지은 쌍 | 대응 t 검정(paired t-test), 대응 표본 |
| 표준편차가 달라도 되는 방식 | 웰치 t 검정(Welch's t-test). 자유도 식은 웰치–새터스웨이트(Welch–Satterthwaite) |
| 표준편차가 같다고 보는 방식 | 스튜던트 t 검정(Student's t-test), 합동 분산(pooled variance) |
| 두 집단의 표준편차가 같다 | 등분산(equal variances, homogeneity of variance) |
| 양쪽 / 한쪽 | 양측 검정(two-sided) / 단측 검정(one-sided) |
| 효과 크기 d | 코헨의 d(Cohen's d), 표준화 평균 차이 |
| 차이의 범위 어림 | 신뢰구간(confidence interval) |
| 크기 순으로 줄 세운 가운데 값 | 중앙값(median) |
| 순위로 보는 검정 | 비모수 검정(nonparametric test). 맨-휘트니 U(Mann–Whitney U), 윌콕슨(Wilcoxon) |
| 차이가 없는데 있다고 하는 일 | 1종 오류(type I error), 거짓 양성(false positive) |
| 처음에 높게 잰 사람이 다음에는 덜 높게 재지는 경향 | 평균으로의 회귀(regression to the mean) |
출처
- Student. The Probable Error of a Mean. Biometrika 6(1), 1908.
- Welch. The Generalization of 'Student's' Problem when Several Different Population Variances are Involved. Biometrika 34(1/2), 1947.
- Ruxton. The unequal variance t-test is an underused alternative to Student's t-test and the Mann–Whitney U test. Behavioral Ecology 17(4), 2006.
- Delacre, Lakens, Leys. Why Psychologists Should by Default Use Welch's t-test Instead of Student's t-test. International Review of Social Psychology 30(1), 2017.
- Wasserstein, Lazar. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 70(2), 2016.
- NIST/SEMATECH e-Handbook of Statistical Methods: 1.3.5.3 Two-Sample t-Test for Equal Means, 1.3.6.7.2 Critical Values of the Student's t Distribution.
- NIST DLMF §8.17 Incomplete Beta Functions(실험이 t 분포의 넓이를 세는 방법, 연분수 8.17.22).
- scipy.stats.ttest_ind 문서(equal_var), R t.test 문서(var.equal).