공분산분석(ANCOVA): 출발선을 맞추고 집단 비교하기
혈압약을 시험합니다. 사람 20명을 무작위로 둘로 나눠 한쪽에는 위약, 한쪽에는 약을 주고 치료 뒤 혈압을 쟀습니다. 그런데 치료 뒤 혈압은 약보다 「치료 전에 혈압이 얼마였나」에 더 크게 흔들립니다. 그 몫을 먼저 빼고 비교하면 무엇이 달라지는지 봅니다. 이 쪽의 숫자는 모두 지어낸 것이고, 이 쪽은 통계 개념을 설명합니다.
한 줄 답. 공분산분석은 집단을 비교할 때, 결과를 크게 흔드는 같이 잰 다른 값(공변량, covariate)으로 설명되는 만큼을 먼저 빼고 비교합니다. 분산분석에 회귀를 더한 것입니다. 그림으로는 집단마다 기울기가 같은 직선을 긋고, 두 직선의 높이 차이를 처리 효과로 읽습니다.
| 집단 평균만(분산분석) | 출발선 맞추기(공분산분석) | |
|---|---|---|
| 약 − 위약 | ||
| 표준오차 | ||
| t (자유도) | ||
| p | ||
| 잔차 표준편차 |
점 하나가 사람 하나입니다(초록 동그라미 위약, 파란 네모 약). 세로 토막이 잔차(residual)입니다. 단추로 그림만 바뀌고, 표는 두 방법을 나란히 둡니다. 자료는 「치료 뒤 = 20 + 0.8 × 치료 전 − 8(약이면) + 오차」로 지어냈습니다. 고정 시드 난수기로 만든 뒤, 두 집단의 치료 전 평균이 똑같이 150, 표준편차가 10 이 되게 맞췄습니다.
1. 무엇을 하나: 분산분석 + 회귀
분산분석은 집단 평균을 비교하고, 집단 안의 흩어짐을 오차로 봅니다. 그런데 그 오차의 큰 몫이 사실은 설명할 수 있는 것일 때가 있습니다. 치료 뒤 혈압이 사람마다 다른 까닭의 대부분은 치료 전 혈압이 사람마다 달랐기 때문입니다. 처음에 높던 사람은 치료 뒤에도 대체로 높습니다.
공분산분석은 두 단계로 생각하면 됩니다. ① 치료 전 혈압으로 치료 뒤 혈압을 추정하는 직선을 긋습니다(회귀). ② 그 직선으로 설명되지 않고 남은 것으로 집단을 비교합니다(분산분석). 같이 잰 이 값을 공변량(covariate)이라고 부르고, 비교하려는 결과 값(치료 뒤 혈압)을 반응 변수라고 부릅니다.
해 볼 것. (맨 위 실험) ① 처음(집단 평균만 비교하기)은 약 − 위약 = −8, 표준오차 4.41, t = −1.81(자유도 18), p = 0.086 입니다. 5% 기준으로는 차이를 가려내지 못합니다. ② 「출발선 맞추기」를 누르면 추정값은 그대로 −8 인데 표준오차가 2.76, t = −2.9(자유도 17), p = 0.010 이 됩니다. 세로 토막이 짧아져 잔차 표준편차가 9.86 에서 6.17 로 줄었기 때문입니다. ③ 이 자료는 두 집단의 치료 전 평균을 똑같이 맞춰서 두 추정값이 같습니다. 처음 값이 다르면 추정값도 달라집니다(5절 실험).
2. 그림과 식: 기울기가 같은 두 직선
가로에 치료 전 값(x), 세로에 치료 뒤 값(y)을 찍으면 점들이 오른쪽 위로 올라갑니다. 집단마다 직선을 하나씩 긋되 기울기는 같게 둡니다. 그러면 두 직선은 평행하고, 어느 x 에서 재든 높이 차이가 같습니다. 이 높이 차이가 처리 효과입니다. 「치료 전 혈압이 같은 두 사람이라면, 약을 먹은 사람이 이만큼 낮다」는 뜻입니다. 식으로는 이렇게 적습니다.
y = b₀ + b₁·집단 + b₂·x
| 조각 | 뜻 | 맨 위 실험에서 |
|---|---|---|
| 집단 | 위약이면 0, 약이면 1 로 적은 칸. 집단 이름을 0 과 1 로 바꾼 이 칸을 가변수(dummy variable)라고 부른다 | 위약 0, 약 1 |
| b₀ | 위약 직선의 높이(절편) | 22.58 |
| b₁ | 두 직선의 높이 차이 = 처리 효과 | −8 |
| b₂ | 두 직선이 같이 쓰는 기울기. 치료 전이 1 높으면 치료 뒤가 얼마나 높은가 | 0.78 |
집단 칸이 0 이면 y = b₀ + b₂·x(위약 직선), 1 이면 y = (b₀ + b₁) + b₂·x(약 직선)입니다. 기울기 b₂ 는 같고 높이만 b₁ 만큼 다릅니다. 이 식은 보통의 최소제곱 회귀로 맞춥니다. 집단이 셋 이상이면 가변수 칸을 「집단 수 − 1」 개 둡니다. x 를 빼면 집단 평균만 비교하는 분산분석과 같은 계산이 됩니다.
3. 보정 평균: 출발선을 맞춘 평균
결과는 흔히 집단마다 출발선을 맞춘 평균인 보정 평균(adjusted mean, 수정 평균)으로 적습니다. 묻는 것은 이것입니다. 「모두가 전체 평균의 치료 전 값 x̄ 에서 출발했다면, 집단 평균은 얼마였을까?」
보정 평균ᵢ = ȳᵢ − b(x̄ᵢ − x̄)
ȳᵢ 는 집단 i 의 치료 뒤 평균, x̄ᵢ 는 그 집단의 치료 전 평균, x̄ 는 모든 사람의 치료 전 평균, b 는 공통 기울기(위 식의 b₂)입니다. 집단이 전체보다 높게 출발했으면(x̄ᵢ > x̄) 그만큼 깎고, 낮게 출발했으면 올립니다. 그림으로는 집단의 평균점 (x̄ᵢ, ȳᵢ) 를 자기 직선을 따라 x̄ 까지 미끄러뜨린 높이입니다. 두 집단의 보정 평균의 차이가 곧 두 직선의 높이 차이 b₁ 입니다. 통계 프로그램에서는 최소제곱 평균(least-squares mean)이나 추정 주변 평균(estimated marginal mean)이라는 이름으로 나오기도 합니다.
4. 식이 만들어지는 과정
3절의 식을 한 단계씩 만듭니다. 그림은 약 집단이 우연히 치료 전에 10 높게 시작한 자료입니다(맨 위 실험의 약 집단을 오른쪽으로 10 옮기고, 치료 뒤 값도 자료를 만든 규칙대로 0.8 × 10 = 8 올린 것). 집단 0 이 위약, 집단 1 이 약입니다.
위의 식에서 주황 바탕이 이번 단계에 붙은 조각입니다.
- 치료 뒤 평균을 그냥 뺀다:
ȳ₁ − ȳ₀. 140 − 140 = 0. 이것만 보면 약은 아무 일도 하지 않은 것처럼 보입니다. - 처음 값의 차이:
x̄₁ − x̄₀. 160 − 150 = 10. 약 집단이 10 높게 출발했습니다. 치료 뒤 값은 치료 전 값을 따라가므로 ① 의 차이에는 이 10 의 몫이 섞여 있습니다. - 기울기를 곱해 뺀다:
ȳ₁ − ȳ₀ − b(x̄₁ − x̄₀). 처음 값이 1 다를 때 치료 뒤 값이 얼마나 다른지가 기울기 b 입니다. b 는 집단 안에서 모은 기울기로 구합니다. 집단마다 자기 평균에서 잰 곱의 합Σ(x − x̄ᵢ)(y − ȳᵢ)과 제곱합Σ(x − x̄ᵢ)²을 두 집단에 걸쳐 더한 뒤 나눕니다: 1409.05 ÷ 1800 = 0.783. 집단을 가리지 않고 모든 점으로 기울기를 구하면 집단 차이(약 효과와 처음 값 차이)가 기울기에 섞여 들어가므로 집단 안에서만 잽니다. 처음 값 차이의 몫은 0.783 × 10 = 7.83 이고, 이것을 빼면 0 − 7.83 = −7.83 입니다. - 집단마다 하면 보정 평균:
ȳᵢ − b(x̄ᵢ − x̄). 전체 평균 x̄ = 155 입니다. 위약 140 − 0.783 × (150 − 155) = 143.91, 약 140 − 0.783 × (160 − 155) = 136.09. 둘의 차이 −7.83 은 ③ 과 같습니다. 두 평균을 빼면 b·x̄ 가 지워져 ③ 의 식만 남기 때문입니다.
해 볼 것. ① 처음에는 고리 둘이 같은 높이 140 에 있고, 오른쪽의 「그냥 비교한 차이」가 0 입니다. ② 「다음」을 누르면 바닥에 처음 값 차이 10 이 나옵니다. ③ 한 번 더 누르면 기울기 0.783 의 평행한 두 직선이 그어집니다. ④ 마지막 단계에서 x̄ = 155 의 세로선 위에 보정 평균 둘과 그 차이 −7.83 이 나옵니다. 자료를 만들 때 넣은 참 효과는 −8 입니다.
5. 두 가지 이득
(가) 잔차 변동이 줄어, 같은 사람 수로 더 잘 찾는다
분산분석에서는 사람마다 치료 전 혈압이 달라 생긴 흩어짐이 모두 오차(집단 안의 흩어짐)에 들어갑니다. 공분산분석은 그 몫을 직선으로 걷어 내므로 오차가 작아집니다. 맨 위 실험에서 잔차 표준편차는 9.86 에서 6.17 로, 차이의 표준오차는 4.41 에서 2.76 으로 줄었습니다. 표준오차는 사람 수의 제곱근에 반비례하므로, 집단 평균만 비교하기로 같은 표준오차를 얻으려면 사람이 대략 (4.41 ÷ 2.76)² ≈ 2.55 배 필요합니다. 공변량과 결과가 집단 안에서 강하게 같이 움직일수록 이득이 큽니다. 거의 같이 움직이지 않으면 이득이 없고, 기울기를 추정하느라 자유도만 하나 잃습니다.
(나) 집단 사이에 처음 값이 우연히 달랐을 때 그 몫을 고친다
무작위로 나눠도 집단의 치료 전 평균은 우연히 조금씩 다릅니다. 사람이 적으면 꽤 다를 수도 있습니다. 약 집단이 우연히 높게 출발했다면 치료 뒤 평균도 그만큼 높게 나와 약 효과가 작아 보입니다. 공분산분석은 그 몫(기울기 × 처음 값 차이)을 빼서 고칩니다.
막대를 끌면 약 집단 전체가 가로로 옮겨 가고, 치료 뒤 값도 자료를 만든 규칙대로 0.8 × (옮긴 만큼) 따라 옮겨 갑니다. 고리는 집단마다 (치료 전 평균, 치료 뒤 평균), 오른쪽 검은 막대는 그냥 비교한 차이, 회색 세로선(x̄) 위의 주황 막대는 보정한 차이입니다.
해 볼 것. ① 처음(0)은 맨 위 실험과 같은 자료라 그냥 비교한 차이와 맞춘 차이가 모두 −8 입니다. ② 10 으로 올리면 그냥 비교한 차이는 0 이 되어 약 효과가 사라진 것처럼 보이지만, 맞춘 차이는 −7.83 입니다. ③ −10 으로 내리면 그냥 비교한 차이는 −16 으로 부풀고, 맞춘 차이는 −8.17 입니다. ④ 20 이면 그냥 비교한 차이가 8 로 약이 혈압을 올린 것처럼 보이는데, 맞춘 차이는 −7.66 입니다. 맞춘 차이가 −8 에서 조금씩 비키는 것은 자료로 추정한 기울기 0.78 이 자료를 만든 참 기울기 0.8 과 조금 다르기 때문입니다. ⑤ 맞춘 차이의 표준오차는 2.76(0) → 3.12(10) → 4.01(20) 으로 커집니다. 두 집단의 출발선이 멀수록 직선을 길게 늘여 비교하는 것이라, 기울기를 추정한 오차가 더 크게 들어옵니다.
6. 가정
| 가정 | 쉬운 말 | 깨지면 |
|---|---|---|
| 기울기가 집단마다 같다(평행) | 치료 전이 1 높을 때 치료 뒤가 높아지는 정도가 두 집단에서 같다 | 「집단 × 공변량」 교호작용이 있는 것이다. 두 직선의 간격이 x 에 따라 달라지므로 높이 차이 하나로 말할 수 없다. x 값 몇 곳에서 효과를 따로 적는다 |
| 공변량은 처리의 영향을 받지 않은 값 | 치료 전에 잰 값이거나, 처리가 바꿀 수 없는 값(나이 같은 것)이다 | 처리 뒤에 잰 값을 넣으면 효과를 깎아 먹는다(7절) |
| 직선 관계 | 치료 전과 치료 뒤가 대략 직선으로 이어진다 | 곡선이면 직선 하나로 뺀 몫이 틀린다. 그림부터 보고, 곡선에 맞는 항을 더한다 |
| 분산분석의 가정 | 사람마다 독립, 잔차가 대략 종 모양, 집단마다 잔차 변동이 비슷함 | 분산분석 쪽 10절과 같다 |
평행인지는 그림에서 집단마다 따로 직선을 그어 보고, 식에 「집단 × x」 항을 더해 그 항이 유의한지 봅니다(9절의 코드). 사람이 적으면 이 검정은 차이를 잘 못 찾으므로 그림과 같이 봅니다.
7. 틀리기 쉬운 점
- 무작위 배정이 아닌 자료에서 출발선 맞추기가 교란을 다 없애 주지는 않는다. 공분산분석은 넣은 공변량의 몫만, 그것도 직선으로만 고칩니다. 재지 않은 다른 차이, 직선이 아닌 관계, 공변량을 잴 때 생긴 오차의 몫은 그대로 남습니다. 두 집단의 공변량 범위가 거의 겹치지 않으면 자료가 없는 곳까지 직선을 늘여 비교하는 셈입니다. 집단을 사람이 고른 자료의 비교는 교란 쪽을 봅니다.
- 처리 뒤에 잰 값을 공변량으로 넣으면 효과를 깎아 먹는다. 약이 혈압을 낮추는 길의 하나가 「몸무게를 줄여서」라고 합시다. 치료 뒤 몸무게를 공변량으로 넣는 순간, 그 길로 생긴 효과가 공변량의 몫으로 빠져 처리 효과가 작게 나옵니다. 공변량은 처리 전에 잽니다.
8. 언제 무엇을 쓰나
| 방법 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 분산분석(치료 뒤 값의 집단 평균만 비교함) | 가정이 가장 적고 단순하다 | 처음 값의 흩어짐이 오차로 남아 표준오차가 크다. 처음 값이 우연히 다르면 그 몫이 효과에 섞인다 | 처음 값을 재지 않았거나, 처음 값과 결과가 거의 같이 움직이지 않을 때 |
| 공분산분석(처음 값의 몫을 직선으로 빼고 비교함) | 잔차 변동이 줄고, 처음 값의 우연한 차이를 고친다 | 평행·직선 가정이 필요하다. 처리 뒤에 잰 값을 넣으면 틀린 답이 나온다 | 처리 전에 결과와 강하게 같이 움직이는 값을 잰 무작위 실험 |
| 변화량의 t 검정(사람마다 치료 뒤 − 치료 전을 구해 두 집단을 비교함) | 설명하기 쉽다. 기울기를 추정하지 않는다 | 기울기를 1 로 정해 둔 공분산분석과 같다. 참 기울기가 1 에서 멀수록 공분산분석보다 잔차 변동이 크다 | 치료 뒤 값이 치료 전 값을 거의 1 대 1 로 따라갈 때, 또는 변화량 자체가 관심일 때 |
| 블록(처음 값이 비슷한 사람끼리 묶고, 묶음 안에서 무작위로 나눔) | 설계 단계에서 처음 값의 차이를 막는다. 직선 가정이 없다 | 나누기 전에 처음 값을 알아야 한다. 묶음 안에 남은 차이는 그대로다 | 배정 전에 처음 값을 잴 수 있을 때. 블록으로 나누고 공분산분석으로 분석하기도 한다 |
치료 전·뒤 두 번이 아니라 여러 시점을 거듭 쟀다면 반복 측정 쪽을 봅니다.
9. 파이썬으로
# 파이썬(statsmodels)으로 공분산분석
import statsmodels.formula.api as smf
# data: 열이 group(위약 0, 약 1), before(치료 전), after(치료 뒤)인 pandas 표
fit = smf.ols("after ~ C(group) + before", data).fit()
print(fit.params) # C(group)[T.1] = 두 직선의 높이 차이(이 쪽 자료라면 −8), before = 공통 기울기(0.78)
# 평행 가정 보기: 집단 × 치료 전 항을 더해 그 항이 유의한지 본다
smf.ols("after ~ C(group) * before", data).fit().summary()
어디에 쓰나
- 임상시험. 치료 전 값(기저치)을 공변량으로 두고 치료 뒤 값을 비교합니다. 집단을 나누는 일은 무작위 배정, 시험을 짜는 일은 임상시험 설계 쪽에 있습니다.
- 웹의 A/B 시험. 같은 사람의 실험 전 기간 지표(예: 지난달 방문 수)를 공변량으로 써서 흩어짐을 줄이는 방법이 같은 생각입니다. CUPED 라는 이름으로 알려져 있습니다.
- 교육 연구. 사전 시험 점수를 공변량으로 두고 가르치는 방법을 비교합니다.
자주 묻는 것
평균을 비교하는데 왜 이름이 「공분산」분석인가요?
분산분석이 제곱합을 쪼개듯, 공분산분석은 공변량과 결과가 같이 움직인 정도인 곱의 합(공분산의 바탕)도 같이 써서 기울기를 구하고 그 몫을 빼기 때문입니다. 비교하는 것은 여전히 집단 평균입니다.
변화량(치료 뒤 − 치료 전)으로 t 검정하는 것과 무엇이 다른가요?
변화량 분석은 기울기를 1 로 정해 둔 공분산분석과 같습니다. 공분산분석은 기울기를 자료에서 추정하므로, 참 기울기가 1 에서 멀수록 변화량 분석보다 잔차 변동이 작습니다.
기울기가 집단마다 다르면 어떻게 하나요?
집단 × 공변량 교호작용이 있는 것입니다. 두 직선의 간격이 공변량 값에 따라 달라지므로 높이 차이 하나로 말하지 않고, 교호작용 항을 넣은 식으로 공변량 값 몇 곳에서 효과를 따로 적습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 출발선을 맞추고 집단 비교하기 | 공분산분석(analysis of covariance, ANCOVA) |
| 같이 잰 다른 값 | 공변량, 공변수(covariate) |
| 비교하려는 결과 값 | 반응 변수, 종속 변수(response, dependent variable) |
| 치료 전 값 | 기저치, 기저값(baseline) |
| 집단을 0 과 1 로 적은 칸 | 가변수, 더미 변수, 지시 변수(dummy variable, indicator variable) |
| 두 직선이 같이 쓰는 기울기 | 공통 기울기, 공통 회귀계수(common slope, pooled within-group regression coefficient) |
| 출발선을 맞춘 평균 | 수정 평균, 보정 평균(adjusted mean), 최소제곱 평균(least-squares mean) |
| 기울기가 집단마다 같음 | 회귀계수의 동질성, 평행성 가정(homogeneity of regression slopes) |
| 집단에 따라 기울기가 다름 | 집단 × 공변량 교호작용(treatment-by-covariate interaction) |
| 직선으로 설명되고 남은 흩어짐 | 잔차, 오차(residual, error) |
| 치료 뒤 − 치료 전 | 변화량, 변화 점수(change score) |
| 재지 않은 다른 차이가 효과에 섞임 | 교란(confounding) |
출처
- Penn State STAT 502: Analysis of Variance and Design of Experiments, Lesson 9 ANCOVA.