분산분석(ANOVA): 셋 이상의 평균 비교

사람을 세 집단으로 나눠 가짜약과 약 두 가지 용량을 줬더니, 혈압이 내려간 양의 평균이 2, 5, 8 mmHg 로 나왔습니다. 집단마다 정말 다른 걸까요, 우연히 이렇게 나온 걸까요? 집단 평균을 직접 끌어 보며 한 번에 따지는 방법을 봅니다. 이 쪽의 숫자는 모두 지어낸 것이고, 이 쪽은 통계 개념을 설명합니다.

한 줄 답. 분산분석은 집단이 셋 이상일 때 평균이 모두 같은지 한 번에 따집니다. 「집단 간 변동」을 「집단 내 변동」으로 나눈 값(F)이 크면, 집단 평균들이 우연이라기에는 너무 멀리 떨어져 있다는 뜻입니다.

제곱합자유도평균 제곱Fp
집단 간
집단 내
전체

점 하나가 사람 하나입니다. 집단 평균(검은 막대) 오른쪽의 동그라미를 위아래로 끌거나 숫자 칸을 고쳐 보세요. 막대로 집단 내 표준편차와 집단당 사람 수를 바꿀 수 있습니다. 표는 지금 자료의 분산분석표이고, 아래 그림은 F 분포 위에서 지금 F 의 자리(주황)와 5% 임계값(보라)입니다. 점 자리는 고정 시드 난수기로 지어낸 뒤, 집단 평균과 표준편차가 막대의 값과 꼭 같도록 맞췄습니다. 그래서 진짜 자료와 달리 집단마다 표준편차가 똑같습니다(작게 줄인 본보기). 세 명일 때는 손 예제와 같은 자리입니다.

1. 무엇을 묻나: 귀무가설과 대립가설

사람을 무작위로 세 집단으로 나눠 가짜약, 약 용량 1, 용량 2 를 주고 혈압이 내려간 양을 쟀다고 합시다. 집단 평균은 거의 언제나 조금씩 다릅니다. 약이 아무 일도 하지 않아도, 집단에 들어간 사람이 다르니 평균도 우연히 달라집니다. 분산분석은 이렇게 묻습니다. 「평균들이 이만큼 떨어진 것을 우연만으로 설명할 수 있나?」

여기서 「참 평균」 μ(뮤)는 같은 약을 아주 많은 사람에게 줬을 때의 평균이고, 우리가 가진 것은 그 가운데 몇 명의 평균(표본 평균)입니다. 가설검정의 틀대로 두 가설을 세웁니다.

가설식뜻
귀무가설 H₀μ₁ = μ₂ = … = μₖ모든 집단의 참 평균이 같다. 보이는 차이는 우연이다
대립가설 H₁적어도 하나의 μᵢ 가 다르다「모두 다르다」가 아니다. 하나만 달라도 H₁ 이다

k 는 집단의 수입니다. 이름은 「분산」분석인데 비교하는 것은 평균입니다. 평균이 다른지를 두 가지 흩어짐(분산)을 비교해서 알아내기 때문입니다. 집단이 둘뿐이면 t 검정과 같은 답을 내고(7절), 셋 이상일 때 쓸모가 커집니다(8절).

2. 집단 간 변동 ÷ 집단 내 변동

평균 2, 5, 8 이 「멀다」고 할지는 사람끼리 얼마나 다른지에 달렸습니다. 같은 집단 내의 사람들이 ±1 정도로 모여 있으면 3 씩 떨어진 평균은 뚜렷한 차이입니다. 그런데 같은 집단 내에서도 ±10 씩 다르다면 3 차이는 우연으로도 쉽게 생깁니다.

F = 집단 간 변동 ÷ 집단 내 변동

약이 아무 일도 하지 않으면 집단 평균들도 사람 사이의 차이만큼만 흔들리므로 두 변동이 비슷해 F 는 1 근처입니다. 집단 평균이 그보다 멀리 떨어질수록 F 가 커집니다. 「얼마나 커야 우연이 아니라고 하나」는 F 분포가 정합니다(4절). 사람 수도 중요합니다. 사람이 많으면 집단 평균이 덜 흔들리므로, 같은 평균 차이라도 더 믿을 만한 차이가 되고 F 가 커집니다.

해 볼 것. (맨 위 실험) ① 처음 모습은 6절의 손 예제입니다. F = 27 ÷ 4 = 6.75, 자유도 (2, 6), p = 0.029 입니다. 5% 임계값(critical value) 5.14 보다 오른쪽에 있습니다. ② 용량 2 의 평균을 8 에서 5 로 끌어 내리면 F = 2.25, p = 0.187 이 됩니다. ③ 「처음 값」으로 돌아가 집단 내 표준편차를 2 에서 4 로 올리면 평균은 그대로인데 F = 1.69, p = 0.262 로 「우연일 수 있다」가 됩니다. ④ 「처음 값」에서 사람 수를 3 에서 10 으로 늘리면 F = 22.5, 자유도 (2, 27), p < 0.001 입니다. 5% 임계값도 3.35 로 내려옵니다. ⑤ 「평균 모두 같게」를 누르면 F = 0, p = 1.000 입니다. 진짜 자료라면 표본 평균이 우연히 조금씩 달라 F 가 정확히 0 이 되는 일은 드뭅니다. ⑥ 「집단 4개」를 누르면 넷째 집단(평균 8)이 더해져 F = 6.19, 자유도 (3, 8), p = 0.018 입니다.

3. 제곱합을 둘로 쪼개기

변동은 분산처럼 거리를 제곱해 더해서 잽니다. 이 합을 제곱합이라고 부릅니다. 분산분석의 핵심은 점마다 「전체 평균까지의 거리」를 두 토막으로 나누는 데 있습니다.

(x − x̄) = (x − x̄ᵢ) + (x̄ᵢ − x̄)

x 는 한 사람의 값, x̄ᵢ(엑스 바 아이)는 그 사람이 든 집단 i 의 평균, x̄ 는 모든 사람의 전체 평균입니다. 왼쪽은 「전체 평균까지」, 오른쪽 첫 토막은 「자기 집단 평균까지」(집단 내), 둘째 토막은 「집단 평균에서 전체 평균까지」(집단 간)입니다. 이것을 모든 점에 걸쳐 제곱해 더하면 신기하게도 깔끔하게 나뉩니다.

전체 제곱합 = 사이 제곱합 + 안 제곱합, 기호로 SST = SSB + SSW

점을 누르면 그 점을 고르고(검은 고리), 끌면 그 집단 전체가 위아래로 옮겨 갑니다. 집단은 맨 위 실험과 같은 자료입니다. 파랑은 집단 내, 초록은 집단 간, 보라 테두리는 전체입니다. 오른쪽 막대의 높이는 늘 전체 제곱합이라, 두 색의 몫만 보면 됩니다.

해 볼 것. ① 처음에는 전체 78 = 사이 54 + 안 24, 사이의 몫이 69.2% 입니다. ② 고른 점(용량 2 의 셋째 사람, 10)은 전체 평균 5 까지 5 = 2 + 3 입니다. 그런데 제곱하면 5² = 25 이고 2² + 3² = 13 이라 점 하나로는 나뉘지 않습니다. 모두 더했을 때만 나뉩니다(까닭은 4절의 ③). ③ 용량 2 를 11 로 끌어 올리면 전체 150 = 사이 126 + 안 24, 사이의 몫이 84.0% 로 커집니다. 집단을 옮겨도 안 제곱합 24 는 그대로입니다. 집단 내의 모양은 바뀌지 않았기 때문입니다. ④ 「평균 모두 같게」(맨 위 실험)를 누르면 초록 토막이 모두 사라지고 전체 24 = 사이 0 + 안 24 입니다.

4. 식이 만들어지는 과정

중심 식은 이것입니다. k 는 집단 수, N 은 모든 사람 수입니다.

F = (SSB ÷ (k − 1)) ÷ (SSW ÷ (N − k))

아래 실험에서 「다음」을 누르며 한 단계씩 만들어 보세요. 그림은 맨 위 실험과 같은 자료입니다.

위의 식에서 주황 바탕이 이번 단계에 붙은 조각입니다. 줄이 그어진 회색 조각은 0 이 되어 사라지는 조각입니다. 집단을 바꾸려면 맨 위 실험이나 3절 실험에서 끌면 됩니다. 이 그림도 따라 바뀝니다.

  1. 전체 평균과 전체 제곱합: SST = Σ(x − x̄)². 점 9개의 전체 평균은 5 입니다. 점마다 전체 평균까지의 거리(보라 선)를 제곱해 더하면 78 입니다. 자료 전체가 얼마나 흩어져 있나를 숫자 하나로 적은 것입니다. 이 변동 가운데 얼마가 집단 차이 때문인지가 궁금한 것입니다.
  2. 거리를 둘로 쪼갠다: (x − x̄ᵢ) + (x̄ᵢ − x̄). 보라 선을 파란 토막(자기 집단 평균까지)과 초록 토막(집단 평균에서 전체 평균까지)으로 나눕니다. 자기 집단 평균을 한 번 빼고 다시 더했을 뿐이라 늘 맞는 식입니다.
  3. 제곱해 더하면 전체 = 사이 + 안: SST = SSW + SSB. (a + b)² = a² + b² + 2ab 이므로 교차항 2Σ(x − x̄ᵢ)(x̄ᵢ − x̄) 가 남을 것 같지만, 이것은 늘 0 입니다. 까닭 한 줄: 한 집단 내에서 (x̄ᵢ − x̄) 는 모든 사람에게 같은 수라 밖으로 빼낼 수 있고, 남은 Σ(x − x̄ᵢ) 는 평균의 뜻 그대로 0 입니다. 손 예제로 확인하면 용량 2 집단은 (6 − 8) + (8 − 8) + (10 − 8) = 0 이고, 세 집단 모두 이렇습니다. 그래서 78 = 24 + 54 입니다. 초록 토막의 제곱합은 집단마다 같은 값이 사람 수만큼 있으므로 SSB = Σ nᵢ(x̄ᵢ − x̄)² 로도 적습니다(nᵢ 는 집단 i 의 사람 수).
  4. 자유도로 나눠 평균 제곱으로: MSB = SSB ÷ (k − 1), MSW = SSW ÷ (N − k). 제곱합은 점이 많을수록, 집단이 많을수록 그냥 커집니다. 그래서 「자유롭게 움직일 수 있는 조각 수」(자유도)로 나눠 크기를 맞춥니다. 집단 평균 k 개는 전체 평균에 묶여 하나가 저절로 정해지므로 사이의 자유도는 k − 1 = 2, 사람 N 명은 집단마다 자기 평균에 하나씩 묶이므로 안의 자유도는 N − k = 6 입니다. 54 ÷ 2 = 27, 24 ÷ 6 = 4 입니다. 이렇게 나눈 값을 평균 제곱이라고 부르고, 집단 수와 사람 수가 달라도 비교할 수 있게 됩니다.
  5. 둘의 비가 F: F = (SSB ÷ (k − 1)) ÷ (SSW ÷ (N − k)). 27 ÷ 4 = 6.75 입니다. MSW 는 평균이 같든 다르든 사람 사이의 분산 σ² 를 추정합니다. MSB 는 평균이 모두 같으면 같은 σ² 를 추정하고, 다르면 그만큼 커집니다. 그래서 집단 평균이 모두 같다면 F 는 1 근처입니다.
  6. F 분포에 비교해 p. 평균이 모두 같고 아래의 가정(10절)이 맞을 때 F 가 퍼지는 모양이 자유도 (k − 1, N − k) 의 F 분포입니다. 지금 F 보다 오른쪽 넓이가 p 값입니다. F(2, 6) 에서 6.75 의 오른쪽 넓이는 0.029 입니다. 평균들이 멀어질수록 F 는 커지기만 하므로 오른쪽 꼬리만 봅니다.

해 볼 것. ① 처음에는 식에 SST = Σ(x − x̄)² 만 있고, 오른쪽 보라 막대에 SST 78 이 적혀 있습니다. ② 두 번 넘기면 교차항이 줄로 그어지고, 설명 줄에 교차항 0 이 나옵니다. 막대는 사이 54(69.2%)와 안 24(30.8%)로 나뉩니다. ③ 네 번 넘기면 초록 막대 MSB 27 에 파란 막대 MSW 4 의 높이마다 흰 눈금이 그어져 6.75 칸이 들어갑니다. ④ 마지막 단계에서 F(2, 6) 곡선 위 6.75 의 오른쪽 넓이 p = 0.029 가 보입니다. 맨 위 실험에서 표준편차를 4 로 올린 채 다시 보면 MSW 16, F 1.69 로 바뀝니다.

5. 분산분석표 읽는 법

통계 프로그램은 결과를 이런 표로 냅니다. 위 실험의 표와 같은 꼴입니다.

줄제곱합자유도평균 제곱Fp
집단 간SSB = Σ nᵢ(x̄ᵢ − x̄)²k − 1MSB = SSB ÷ (k − 1)MSB ÷ MSWF 분포에서 F 의 오른쪽 넓이
집단 내SSW = Σ(x − x̄ᵢ)²N − kMSW = SSW ÷ (N − k)
전체SST = Σ(x − x̄)²N − 1
  1. 더해지는지 본다. 제곱합은 사이 + 안 = 전체, 자유도도 (k − 1) + (N − k) = N − 1 입니다. 맞지 않으면 표를 잘못 옮긴 것입니다.
  2. F 를 본다. 1 근처면 집단 평균의 차이가 사람 사이의 분산만큼입니다. 1 보다 훨씬 크면 그보다 멉니다.
  3. p 를 본다. 정한 유의수준(흔히 0.05)보다 작으면 「평균이 모두 같다」를 물리칩니다. 글로 적을 때는 F(2, 6) = 6.75, p = 0.029 처럼 자유도를 같이 씁니다.

프로그램마다 줄 이름이 다릅니다. 「집단 간」 줄은 집단을 나눈 기준의 이름(예: 용량)이나 처리(Treatment)로, 「집단 내」 줄은 잔차(Residuals)나 오차(Error)로 나오는 일이 많습니다.

이렇게 읽으면 틀린다

6. 손으로 풀어 보기

집단 셋, 집단마다 세 명. 혈압이 내려간 양(mmHg, 지어낸 숫자)입니다. 위 실험들의 처음 모습이 이것입니다.

집단세 사람의 값집단 평균 x̄ᵢ(x − x̄ᵢ)²안 제곱합
가짜약0, 2, 424, 0, 48
용량 13, 5, 754, 0, 48
용량 26, 8, 1084, 0, 48
  1. 전체 평균. (0 + 2 + 4 + 3 + 5 + 7 + 6 + 8 + 10) ÷ 9 = 45 ÷ 9 = 5.
  2. 사이 제곱합. 집단 평균이 전체 평균에서 −3, 0, 3 떨어져 있고, 집단마다 세 명이므로 3 × (9 + 0 + 9) = 54.
  3. 안 제곱합. 표의 마지막 칸을 더해 8 + 8 + 8 = 24.
  4. 전체 제곱합으로 확인. 전체 평균 5 까지의 거리는 −5, −3, −1, −2, 0, 2, 1, 3, 5 이고 제곱의 합은 25 + 9 + 1 + 4 + 0 + 4 + 1 + 9 + 25 = 78 = 54 + 24.
  5. 자유도. 사이 k − 1 = 3 − 1 = 2, 안 N − k = 9 − 3 = 6, 전체 N − 1 = 8.
  6. 평균 제곱. MSB = 54 ÷ 2 = 27, MSW = 24 ÷ 6 = 4.
  7. F. 27 ÷ 4 = 6.75.
  8. p. F(2, 6) 분포에서 6.75 의 오른쪽 넓이는 0.029 입니다. 5% 임계값이 5.14 이고 6.75 가 그보다 크니 유의수준 5% 에서 「세 평균이 모두 같다」를 물리칩니다. 첫째 자유도가 2 일 때만은 넓이를 짧은 식으로 셀 수 있습니다: (1 + 2 × 6.75 ÷ 6)^(−6 ÷ 2) = 3.25^(−3) ≈ 0.0291. 다른 자유도에서는 이 쪽의 실험처럼 컴퓨터로 셉니다.
제곱합자유도평균 제곱Fp
집단 간542276.750.029
집단 내2464
전체788
# 파이썬(scipy)으로 같은 계산
from scipy.stats import f_oneway
f_oneway([0, 2, 4], [3, 5, 7], [6, 8, 10])   # F = 6.75, p ≈ 0.029

7. 꼭 알아야 할 성질

성질쉬운 말실험에서
전체 = 사이 + 안자료가 무엇이든, 집단마다 사람 수가 달라도 제곱합은 늘 이렇게 나뉜다. 자유도도 똑같이 나뉜다3절 실험의 막대
집단이 둘이면 F = t²두 집단의 분산을 합쳐 쓰는 t 검정의 t 를 제곱하면 F 이고, p 값도 같다. 분산분석은 t 검정을 집단 여럿으로 넓힌 것이다이 쪽 lab.js 의 스스로 검사(주소 끝에 ?test)
평균이 모두 같으면 F 는 1 근처MSB 와 MSW 가 같은 σ² 를 추정하기 때문. 정확히는 F 분포의 평균이 d₂ ÷ (d₂ − 2) 로 1 보다 조금 크다(d₂ 는 안의 자유도, 2 보다 클 때)8절 실험: 효과가 없으면 F 가 5% 임계값을 넘는 일이 5% 쯤
오른쪽 꼬리만 본다F 는 0 이상이고, 평균들이 어느 쪽으로 멀어지든 커지기만 한다. 그래서 p 는 오른쪽 넓이 하나다맨 위 실험의 F 그림
사람이 많으면 같은 차이도 F 가 커진다집단당 사람이 n 명이면 SSB 가 n 배가 된다. 분산이 같아도 증거가 쌓인다2절 해 볼 것 ④

8. 왜 t 검정을 여러 번 하면 안 되나

집단이 셋이면 쌍이 셋(가짜약–용량 1, 가짜약–용량 2, 용량 1–용량 2)이고, 집단이 k 개면 쌍이 k × (k − 1) ÷ 2 개입니다. 쌍마다 t 검정을 유의수준 5% 로 하면, 효과가 전혀 없을 때도 검정마다 5% 의 확률로 「유의」가 나옵니다. 검정을 여러 번 하면 그 가운데 적어도 하나가 우연히 유의하게 나올 확률이 커집니다. 검정들이 서로 독립이라면 이렇습니다.

적어도 하나가 유의할 확률 = 1 − 0.95^(쌍의 수)

0.95 는 「검정 하나가 유의하지 않을 확률」이고, 독립이면 모두 유의하지 않을 확률은 그것을 쌍의 수만큼 곱한 값입니다. 쌍별 t 검정은 같은 집단을 나눠 쓰므로 서로 완전히 독립은 아닙니다. 그래서 실제 값은 이 식보다 조금 작습니다. 아래 실험은 효과가 전혀 없는 자료(모든 집단이 같은 분포에서 나옴)로 실험을 1,000번 해서 그것을 직접 셉니다.

칸 하나가 실험 하나입니다. 실험마다 집단마다 10명씩, 모두 같은 정규분포에서 값을 뽑습니다. 그러니 주황 칸은 모두 「효과가 없는데 있다고 한」 잘못입니다. 왼쪽과 오른쪽은 같은 1,000개의 자료입니다. 시드가 같으면 같은 결과가 나오고, 시드를 바꾸면 다른 우연이 나옵니다.

해 볼 것. ① 처음(집단 3개, 시드 1)에는 쌍마다 t 검정에서 1,000번 가운데 122번(12.2%)이 적어도 한 쌍을 유의하다고 했습니다. 식 1 − 0.95³ 은 14.3% 입니다. 분산분석은 59번(5.9%)으로 5% 근처입니다. ② 집단 수를 올려 가며 보세요. 아래 표가 시드 1 로 나온 값입니다. 8개면 쌍이 28개라 절반이 넘는 509번(50.9%)이 「어딘가 다르다」고 잘못 말합니다. 분산분석은 집단 수와 상관없이 5% 근처에 머뭅니다.

집단 수쌍의 수식 1 − 0.95^쌍쌍마다 t 검정(실험)분산분석 한 번(실험)
3314.3%12.2%5.9%
4626.5%21.4%5.5%
51040.1%29.8%5.3%
61553.7%35.6%5.7%
72165.9%43.2%4.9%
82876.2%50.9%6.1%

실험 값이 식보다 작은 것은 쌍들이 독립이 아니기 때문입니다. 분산분석 칸이 5.9%, 4.9% 처럼 5% 에서 1%p 안쪽으로 오르내리는 것은 실험을 1,000번만 해서 생기는 우연입니다(5% 둘레에서 흔들리는 폭, 곧 표준오차가 약 0.7%p). 그래도 집단이 많아질수록 잘못 「유의」라고 할 확률이 5% 를 크게 넘는다는 것은 같습니다. 분산분석은 「평균이 모두 같은가」를 검정 한 번으로 묻기 때문에 전체의 잘못을 5% 로 지킵니다. 여러 번 검정할 때 이 확률을 다루는 방법(본페로니, 홈, 거짓 발견률)은 다중 비교 쪽에서 다룹니다.

9. 그다음은: 어느 집단이 다른가(사후 비교)

F 가 유의하면 「적어도 하나가 다르다」까지는 압니다. 어느 집단이 다른지는 알려 주지 않습니다. 그래서 F 검정 다음에 쌍을 비교하는 사후 비교를 합니다. 8절의 문제를 피하려고, 쌍이 여럿인 만큼 기준을 엄하게 고칩니다(보정). 가장 단순한 본페로니 보정은 유의수준 0.05 를 쌍의 수 m 으로 나눠 쌍마다 씁니다. 쌍마다 평균의 차이에 구간을 붙이면 이렇습니다.

차이 ± t × √(MSW × (1 ÷ nᵢ + 1 ÷ nⱼ))

t 는 자유도 N − k 의 t 분포에서 양쪽 넓이가 0.05 ÷ m 이 되는 자리입니다. 분산은 두 집단만이 아니라 모든 집단으로 구한 MSW 를 씁니다. 구간이 0 을 품지 않으면 그 두 집단은 다르다고 말합니다.

맨 위 실험과 같은 자료입니다. 거기서 집단을 끌거나 사람 수를 바꾸면 이 그림도 바뀝니다. 굵은 선이 주황이면 보정 구간이 0 을 품지 않는 쌍입니다.

해 볼 것. ① 처음(손 예제)에는 쌍이 3개라 t = 3.29 를 씁니다. 용량 2 − 가짜약 = 6, 보정 구간 0.63 ~ 11.37 만 0 을 품지 않습니다. 나머지 두 쌍은 차이 3, 구간 −2.37 ~ 8.37 이라 다르다고 말할 수 없습니다. F 는 유의했지만 다르다고 할 수 있는 쌍은 하나뿐입니다. ② 보정 안 한 구간(가는 선)은 반폭이 4 로, 보정 구간(반폭 5.37)보다 좁습니다. ③ 「사람 20명씩, 평균 4·5·6」을 누르면 용량 2 − 가짜약 = 2, 구간 0.44 ~ 3.56 만 다릅니다. ④ 「처음 값」에서 사람 수를 10 으로 늘리면 세 쌍 모두 다릅니다(구간 0.72 ~ 5.28, 3.72 ~ 8.28, 0.72 ~ 5.28).

모든 쌍을 비교할 때는 튜키(Tukey) 방법을 흔히 쓰고, 구간이 본페로니보다 조금 좁습니다. 가짜약 집단 하나와 나머지를 하나씩만 비교할 때는 더닛(Dunnett) 방법이 있습니다. 어느 방법이든 「무엇을 비교할지」는 자료를 보기 전에 정해 두는 것이 좋습니다. F 검정과 사후 비교가 가끔 엇갈리기도 합니다(F 는 유의한데 다르다고 할 쌍이 없거나, 그 반대). F 는 쌍 하나가 아니라 평균들 전체의 변동을 보기 때문입니다.

10. 가정과, 깨질 때의 대안

F 분포로 p 를 셀 수 있는 것은 아래가 맞을 때입니다.

가정쉬운 말깨지면
독립사람마다 따로 잰 값이다. 한 사람의 값이 다른 사람의 값에 영향을 주지 않는다같은 사람을 여러 번 쟀다면 반복 측정 분산분석. 사람을 집단에 무작위로 배정하는 것이 독립의 바탕이다
대략 종 모양집단 내에서 사람들이 자기 평균 둘레에 정규분포에 가깝게 퍼져 있다집단마다 사람이 많으면 평균이 종 모양에 가까워져 덜 민감하다. 사람이 적고 모양이 크게 치우치거나 이상치가 많으면 크러스컬-월리스 검정
등분산성집단마다 표준편차가 비슷하다(MSW 하나로 모든 집단의 분산을 대표한다)집단마다 사람 수가 같으면 덜 흔들리고, 사람 수도 다르고 분산도 다르면 크게 흔들린다. 웰치 분산분석을 쓴다

확인은 그림부터 합니다. 집단마다 점을 찍어 보고(이 쪽의 실험 그림처럼), 집단별 표준편차를 나란히 적어 봅니다. 분산이 같은지 검정하는 레빈(Levene) 검정도 있습니다. 크러스컬-월리스 검정은 값 대신 모든 사람의 값을 한 줄로 세운 순위로 분산분석과 비슷한 일을 하는 방법입니다. 이상치가 하나 아주 멀리 있어도 순위는 맨 끝 하나일 뿐이라 덜 흔들립니다. 자세한 것은 비모수 검정 쪽에서 다룹니다.

11. 효과 크기: 에타 제곱

p 값은 「우연이라기에 드문가」를 말할 뿐, 차이가 얼마나 큰지는 말하지 않습니다. 차이의 크기는 에타 제곱(η²)으로 적습니다.

η² = SSB ÷ SST

전체 변동 가운데 집단 차이가 차지하는 몫으로, 0 에서 1 사이입니다. 3절 실험의 막대에서 초록 부분의 몫이 바로 이것입니다. 손 예제는 54 ÷ 78 ≈ 0.69 입니다. 「사람 20명씩, 평균 4·5·6」은 p = 0.010 으로 손 예제(0.029)보다 p 가 작은데, η² 는 0.15 로 훨씬 작습니다. 사람이 많아 작은 차이도 우연이 아니라고 가려냈을 뿐, 사람 사이의 분산에 비교하면 집단 차이는 작습니다.

η² 는 같은 자료에서 우연히 생긴 차이까지 집단 차이로 세므로, 사람이 적으면 실제보다 크게 나오는 쪽으로 치우칩니다. 이를 바로잡은 오메가 제곱 ω² = (SSB − (k − 1) × MSW) ÷ (SST + MSW) 를 쓰기도 합니다. 손 예제는 (54 − 2 × 4) ÷ (78 + 4) = 46 ÷ 82 ≈ 0.56 입니다.

12. 더 나아가기: 이원 분산분석, 반복 측정, 회귀

이원 분산분석. 지금까지는 집단을 나누는 기준(요인)이 용량 하나였습니다(일원 분산분석, 책에서는 일원배치법). 기준이 둘이면 이원 분산분석(이원배치법)입니다. 예를 들어 용량(가짜약, 용량 1, 용량 2)과 식단(소금 적게, 보통)을 함께 나누면 여섯 집단이 생기고, 사이 제곱합이 「용량 몫」, 「식단 몫」, 그리고 교호작용 몫으로 다시 쪼개집니다. 교호작용은 「용량의 효과가 식단에 따라 달라지는가」입니다. 소금을 적게 먹는 사람에게서만 용량 차이가 크다면 교호작용이 있는 것이고, 그때는 「용량의 효과」를 식단과 떼어 한 줄로 말할 수 없습니다. 자세한 것은 요인 설계와 교호작용 쪽에서 다룹니다.

반복 측정. 같은 사람을 0주, 4주, 8주에 거듭 재면 값들이 독립이 아닙니다. 그 대신 사람마다의 차이를 따로 떼어 집단 내 변동에서 빼낼 수 있어, 같은 사람 수로 더 작은 차이를 가려냅니다. 반복 측정과 교차 설계 쪽에서 다룹니다.

회귀와 같은 틀. 일원 분산분석은 「집단마다 0 과 1 로 표시한 칸」을 입력으로 쓴 선형 회귀와 같은 계산이고, F 와 p 도 똑같이 나옵니다. 사이 제곱합은 회귀가 설명한 몫, 안 제곱합은 회귀의 잔차 제곱합입니다(상관과 회귀, 최소제곱).

어디에 쓰나

자주 묻는 것

평균을 비교하는데 왜 이름이 「분산」분석인가요?

평균이 다른지를 두 가지 흩어짐(분산)의 비로 판단하기 때문입니다. 집단 평균들이 퍼진 정도가 사람끼리의 분산으로 설명되는 것보다 크면, 평균이 정말 다르다고 봅니다.

집단이 둘이면 분산분석과 t 검정 가운데 무엇을 쓰나요?

둘은 같은 답을 냅니다. 집단이 둘이면 F 는 두 집단의 분산을 합쳐 쓰는 t 검정의 t 를 제곱한 값이고 p 값도 같습니다. 보통 집단이 둘이면 t 검정을, 셋 이상이면 분산분석을 씁니다.

F 검정이 유의하면 모든 집단이 서로 다른 건가요?

아닙니다. 「적어도 한 집단의 평균이 다르다」까지만 말합니다. 어느 집단이 다른지는 본페로니나 튜키 같은 사후 비교로 따로 봅니다.

p 값이 0.05 보다 크면 평균이 모두 같다는 뜻인가요?

아닙니다. 차이를 가려낼 만큼 증거가 모자랐다는 뜻입니다. 사람 수가 적거나 표준편차가 크면 실제 차이가 있어도 p 가 크게 나옵니다. 「차이가 이만큼보다 작다」를 보이려면 동등성 검정 같은 다른 방법을 씁니다.

가정이 맞지 않으면 어떻게 하나요?

집단마다 분산이 크게 다르면 웰치 분산분석을, 모양이 종과 멀거나 이상치가 많으면 순위를 쓰는 크러스컬-월리스 검정을 씁니다. 같은 사람을 여러 번 쟀다면 반복 측정 분산분석을 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
평균이 모두 같은지 한 번에 따지기분산분석(analysis of variance, ANOVA). 기준이 하나면 일원 분산분석(일원배치법, one-way ANOVA), 둘이면 이원 분산분석(이원배치법, two-way ANOVA)
집단 / 집단을 나누는 기준집단, 처리, 수준(group, treatment, level) / 요인(factor)
가짜약위약(placebo)
모든 평균이 같다 / 적어도 하나가 다르다귀무가설(null hypothesis, H₀) / 대립가설(alternative hypothesis, H₁)
거리의 제곱을 더한 것제곱합(sum of squares, SS)
집단 간 제곱합집단 간 제곱합, 처리 제곱합(between-group sum of squares, SSB)
집단 내 제곱합집단 내 제곱합, 오차 제곱합, 잔차 제곱합(within-group sum of squares, SSW, SSE)
전체 제곱합총제곱합(total sum of squares, SST)
자유롭게 움직일 수 있는 조각 수자유도(degrees of freedom, df)
제곱합 ÷ 자유도평균 제곱(mean square, MS). MSB, MSW(MSE)
사이 ÷ 안F 통계량, F 비(F statistic, F ratio)
평균이 모두 같을 때 F 가 퍼지는 모양F 분포(F distribution)
결과를 모은 표분산분석표(ANOVA table)
여러 번 검정할 때 적어도 하나를 잘못 유의라고 할 확률가족별 오류율(familywise error rate, FWER)
어느 집단이 다른지 쌍으로 비교하기사후 비교(post hoc comparison), 다중 비교(multiple comparisons)
유의수준 ÷ 쌍의 수본페로니 보정(Bonferroni correction)
흩어짐이 비슷함등분산성(homogeneity of variance, homoscedasticity)
흩어짐이 다를 때의 분산분석웰치 분산분석(Welch's ANOVA)
순위로 하는 분산분석크러스컬-월리스 검정(Kruskal–Wallis test)
전체 변동 가운데 집단 차이의 몫효과 크기(effect size), 에타 제곱(eta squared, η²), 오메가 제곱(omega squared, ω²)
효과가 다른 기준에 따라 달라짐교호작용, 상호작용(interaction)
같은 사람을 여러 번 재는 분산분석반복 측정 분산분석(repeated measures ANOVA)
자기 집단 평균에서 떨어진 거리잔차(residual)

출처

← t 검정카이제곱 검정 →