공분산분석(ANCOVA): 출발선을 맞추고 집단 비교하기

혈압약을 시험합니다. 사람 20명을 무작위로 둘로 나눠 한쪽에는 위약, 한쪽에는 약을 주고 치료 뒤 혈압을 쟀습니다. 그런데 치료 뒤 혈압은 약보다 「치료 전에 혈압이 얼마였나」에 더 크게 흔들립니다. 그 몫을 먼저 빼고 비교하면 무엇이 달라지는지 봅니다. 이 쪽의 숫자는 모두 지어낸 것이고, 이 쪽은 통계 개념을 설명합니다.

한 줄 답. 공분산분석은 집단을 비교할 때, 결과를 크게 흔드는 같이 잰 다른 값(공변량, covariate)으로 설명되는 만큼을 먼저 빼고 비교합니다. 분산분석에 회귀를 더한 것입니다. 그림으로는 집단마다 기울기가 같은 직선을 긋고, 두 직선의 높이 차이를 처리 효과로 읽습니다.

집단 평균만(분산분석)출발선 맞추기(공분산분석)
약 − 위약
표준오차
t (자유도)
p
잔차 표준편차

점 하나가 사람 하나입니다(초록 동그라미 위약, 파란 네모 약). 세로 토막이 잔차(residual)입니다. 단추로 그림만 바뀌고, 표는 두 방법을 나란히 둡니다. 자료는 「치료 뒤 = 20 + 0.8 × 치료 전 − 8(약이면) + 오차」로 지어냈습니다. 고정 시드 난수기로 만든 뒤, 두 집단의 치료 전 평균이 똑같이 150, 표준편차가 10 이 되게 맞췄습니다.

1. 무엇을 하나: 분산분석 + 회귀

분산분석은 집단 평균을 비교하고, 집단 안의 흩어짐을 오차로 봅니다. 그런데 그 오차의 큰 몫이 사실은 설명할 수 있는 것일 때가 있습니다. 치료 뒤 혈압이 사람마다 다른 까닭의 대부분은 치료 전 혈압이 사람마다 달랐기 때문입니다. 처음에 높던 사람은 치료 뒤에도 대체로 높습니다.

공분산분석은 두 단계로 생각하면 됩니다. ① 치료 전 혈압으로 치료 뒤 혈압을 추정하는 직선을 긋습니다(회귀). ② 그 직선으로 설명되지 않고 남은 것으로 집단을 비교합니다(분산분석). 같이 잰 이 값을 공변량(covariate)이라고 부르고, 비교하려는 결과 값(치료 뒤 혈압)을 반응 변수라고 부릅니다.

해 볼 것. (맨 위 실험) ① 처음(집단 평균만 비교하기)은 약 − 위약 = −8, 표준오차 4.41, t = −1.81(자유도 18), p = 0.086 입니다. 5% 기준으로는 차이를 가려내지 못합니다. ② 「출발선 맞추기」를 누르면 추정값은 그대로 −8 인데 표준오차가 2.76, t = −2.9(자유도 17), p = 0.010 이 됩니다. 세로 토막이 짧아져 잔차 표준편차가 9.86 에서 6.17 로 줄었기 때문입니다. ③ 이 자료는 두 집단의 치료 전 평균을 똑같이 맞춰서 두 추정값이 같습니다. 처음 값이 다르면 추정값도 달라집니다(5절 실험).

2. 그림과 식: 기울기가 같은 두 직선

가로에 치료 전 값(x), 세로에 치료 뒤 값(y)을 찍으면 점들이 오른쪽 위로 올라갑니다. 집단마다 직선을 하나씩 긋되 기울기는 같게 둡니다. 그러면 두 직선은 평행하고, 어느 x 에서 재든 높이 차이가 같습니다. 이 높이 차이가 처리 효과입니다. 「치료 전 혈압이 같은 두 사람이라면, 약을 먹은 사람이 이만큼 낮다」는 뜻입니다. 식으로는 이렇게 적습니다.

y = b₀ + b₁·집단 + b₂·x

조각뜻맨 위 실험에서
집단위약이면 0, 약이면 1 로 적은 칸. 집단 이름을 0 과 1 로 바꾼 이 칸을 가변수(dummy variable)라고 부른다위약 0, 약 1
b₀위약 직선의 높이(절편)22.58
b₁두 직선의 높이 차이 = 처리 효과−8
b₂두 직선이 같이 쓰는 기울기. 치료 전이 1 높으면 치료 뒤가 얼마나 높은가0.78

집단 칸이 0 이면 y = b₀ + b₂·x(위약 직선), 1 이면 y = (b₀ + b₁) + b₂·x(약 직선)입니다. 기울기 b₂ 는 같고 높이만 b₁ 만큼 다릅니다. 이 식은 보통의 최소제곱 회귀로 맞춥니다. 집단이 셋 이상이면 가변수 칸을 「집단 수 − 1」 개 둡니다. x 를 빼면 집단 평균만 비교하는 분산분석과 같은 계산이 됩니다.

3. 보정 평균: 출발선을 맞춘 평균

결과는 흔히 집단마다 출발선을 맞춘 평균인 보정 평균(adjusted mean, 수정 평균)으로 적습니다. 묻는 것은 이것입니다. 「모두가 전체 평균의 치료 전 값 x̄ 에서 출발했다면, 집단 평균은 얼마였을까?」

보정 평균ᵢ = ȳᵢ − b(x̄ᵢ − x̄)

ȳᵢ 는 집단 i 의 치료 뒤 평균, x̄ᵢ 는 그 집단의 치료 전 평균, x̄ 는 모든 사람의 치료 전 평균, b 는 공통 기울기(위 식의 b₂)입니다. 집단이 전체보다 높게 출발했으면(x̄ᵢ > x̄) 그만큼 깎고, 낮게 출발했으면 올립니다. 그림으로는 집단의 평균점 (x̄ᵢ, ȳᵢ) 를 자기 직선을 따라 x̄ 까지 미끄러뜨린 높이입니다. 두 집단의 보정 평균의 차이가 곧 두 직선의 높이 차이 b₁ 입니다. 통계 프로그램에서는 최소제곱 평균(least-squares mean)이나 추정 주변 평균(estimated marginal mean)이라는 이름으로 나오기도 합니다.

4. 식이 만들어지는 과정

3절의 식을 한 단계씩 만듭니다. 그림은 약 집단이 우연히 치료 전에 10 높게 시작한 자료입니다(맨 위 실험의 약 집단을 오른쪽으로 10 옮기고, 치료 뒤 값도 자료를 만든 규칙대로 0.8 × 10 = 8 올린 것). 집단 0 이 위약, 집단 1 이 약입니다.

위의 식에서 주황 바탕이 이번 단계에 붙은 조각입니다.

  1. 치료 뒤 평균을 그냥 뺀다: ȳ₁ − ȳ₀. 140 − 140 = 0. 이것만 보면 약은 아무 일도 하지 않은 것처럼 보입니다.
  2. 처음 값의 차이: x̄₁ − x̄₀. 160 − 150 = 10. 약 집단이 10 높게 출발했습니다. 치료 뒤 값은 치료 전 값을 따라가므로 ① 의 차이에는 이 10 의 몫이 섞여 있습니다.
  3. 기울기를 곱해 뺀다: ȳ₁ − ȳ₀ − b(x̄₁ − x̄₀). 처음 값이 1 다를 때 치료 뒤 값이 얼마나 다른지가 기울기 b 입니다. b 는 집단 안에서 모은 기울기로 구합니다. 집단마다 자기 평균에서 잰 곱의 합 Σ(x − x̄ᵢ)(y − ȳᵢ) 과 제곱합 Σ(x − x̄ᵢ)² 을 두 집단에 걸쳐 더한 뒤 나눕니다: 1409.05 ÷ 1800 = 0.783. 집단을 가리지 않고 모든 점으로 기울기를 구하면 집단 차이(약 효과와 처음 값 차이)가 기울기에 섞여 들어가므로 집단 안에서만 잽니다. 처음 값 차이의 몫은 0.783 × 10 = 7.83 이고, 이것을 빼면 0 − 7.83 = −7.83 입니다.
  4. 집단마다 하면 보정 평균: ȳᵢ − b(x̄ᵢ − x̄). 전체 평균 x̄ = 155 입니다. 위약 140 − 0.783 × (150 − 155) = 143.91, 약 140 − 0.783 × (160 − 155) = 136.09. 둘의 차이 −7.83 은 ③ 과 같습니다. 두 평균을 빼면 b·x̄ 가 지워져 ③ 의 식만 남기 때문입니다.

해 볼 것. ① 처음에는 고리 둘이 같은 높이 140 에 있고, 오른쪽의 「그냥 비교한 차이」가 0 입니다. ② 「다음」을 누르면 바닥에 처음 값 차이 10 이 나옵니다. ③ 한 번 더 누르면 기울기 0.783 의 평행한 두 직선이 그어집니다. ④ 마지막 단계에서 x̄ = 155 의 세로선 위에 보정 평균 둘과 그 차이 −7.83 이 나옵니다. 자료를 만들 때 넣은 참 효과는 −8 입니다.

5. 두 가지 이득

(가) 잔차 변동이 줄어, 같은 사람 수로 더 잘 찾는다

분산분석에서는 사람마다 치료 전 혈압이 달라 생긴 흩어짐이 모두 오차(집단 안의 흩어짐)에 들어갑니다. 공분산분석은 그 몫을 직선으로 걷어 내므로 오차가 작아집니다. 맨 위 실험에서 잔차 표준편차는 9.86 에서 6.17 로, 차이의 표준오차는 4.41 에서 2.76 으로 줄었습니다. 표준오차는 사람 수의 제곱근에 반비례하므로, 집단 평균만 비교하기로 같은 표준오차를 얻으려면 사람이 대략 (4.41 ÷ 2.76)² ≈ 2.55 배 필요합니다. 공변량과 결과가 집단 안에서 강하게 같이 움직일수록 이득이 큽니다. 거의 같이 움직이지 않으면 이득이 없고, 기울기를 추정하느라 자유도만 하나 잃습니다.

(나) 집단 사이에 처음 값이 우연히 달랐을 때 그 몫을 고친다

무작위로 나눠도 집단의 치료 전 평균은 우연히 조금씩 다릅니다. 사람이 적으면 꽤 다를 수도 있습니다. 약 집단이 우연히 높게 출발했다면 치료 뒤 평균도 그만큼 높게 나와 약 효과가 작아 보입니다. 공분산분석은 그 몫(기울기 × 처음 값 차이)을 빼서 고칩니다.

막대를 끌면 약 집단 전체가 가로로 옮겨 가고, 치료 뒤 값도 자료를 만든 규칙대로 0.8 × (옮긴 만큼) 따라 옮겨 갑니다. 고리는 집단마다 (치료 전 평균, 치료 뒤 평균), 오른쪽 검은 막대는 그냥 비교한 차이, 회색 세로선(x̄) 위의 주황 막대는 보정한 차이입니다.

해 볼 것. ① 처음(0)은 맨 위 실험과 같은 자료라 그냥 비교한 차이와 맞춘 차이가 모두 −8 입니다. ② 10 으로 올리면 그냥 비교한 차이는 0 이 되어 약 효과가 사라진 것처럼 보이지만, 맞춘 차이는 −7.83 입니다. ③ −10 으로 내리면 그냥 비교한 차이는 −16 으로 부풀고, 맞춘 차이는 −8.17 입니다. ④ 20 이면 그냥 비교한 차이가 8 로 약이 혈압을 올린 것처럼 보이는데, 맞춘 차이는 −7.66 입니다. 맞춘 차이가 −8 에서 조금씩 비키는 것은 자료로 추정한 기울기 0.78 이 자료를 만든 참 기울기 0.8 과 조금 다르기 때문입니다. ⑤ 맞춘 차이의 표준오차는 2.76(0) → 3.12(10) → 4.01(20) 으로 커집니다. 두 집단의 출발선이 멀수록 직선을 길게 늘여 비교하는 것이라, 기울기를 추정한 오차가 더 크게 들어옵니다.

6. 가정

가정쉬운 말깨지면
기울기가 집단마다 같다(평행)치료 전이 1 높을 때 치료 뒤가 높아지는 정도가 두 집단에서 같다「집단 × 공변량」 교호작용이 있는 것이다. 두 직선의 간격이 x 에 따라 달라지므로 높이 차이 하나로 말할 수 없다. x 값 몇 곳에서 효과를 따로 적는다
공변량은 처리의 영향을 받지 않은 값치료 전에 잰 값이거나, 처리가 바꿀 수 없는 값(나이 같은 것)이다처리 뒤에 잰 값을 넣으면 효과를 깎아 먹는다(7절)
직선 관계치료 전과 치료 뒤가 대략 직선으로 이어진다곡선이면 직선 하나로 뺀 몫이 틀린다. 그림부터 보고, 곡선에 맞는 항을 더한다
분산분석의 가정사람마다 독립, 잔차가 대략 종 모양, 집단마다 잔차 변동이 비슷함분산분석 쪽 10절과 같다

평행인지는 그림에서 집단마다 따로 직선을 그어 보고, 식에 「집단 × x」 항을 더해 그 항이 유의한지 봅니다(9절의 코드). 사람이 적으면 이 검정은 차이를 잘 못 찾으므로 그림과 같이 봅니다.

7. 틀리기 쉬운 점

8. 언제 무엇을 쓰나

방법좋은 점나쁜 점쓰는 경우
분산분석(치료 뒤 값의 집단 평균만 비교함)가정이 가장 적고 단순하다처음 값의 흩어짐이 오차로 남아 표준오차가 크다. 처음 값이 우연히 다르면 그 몫이 효과에 섞인다처음 값을 재지 않았거나, 처음 값과 결과가 거의 같이 움직이지 않을 때
공분산분석(처음 값의 몫을 직선으로 빼고 비교함)잔차 변동이 줄고, 처음 값의 우연한 차이를 고친다평행·직선 가정이 필요하다. 처리 뒤에 잰 값을 넣으면 틀린 답이 나온다처리 전에 결과와 강하게 같이 움직이는 값을 잰 무작위 실험
변화량의 t 검정(사람마다 치료 뒤 − 치료 전을 구해 두 집단을 비교함)설명하기 쉽다. 기울기를 추정하지 않는다기울기를 1 로 정해 둔 공분산분석과 같다. 참 기울기가 1 에서 멀수록 공분산분석보다 잔차 변동이 크다치료 뒤 값이 치료 전 값을 거의 1 대 1 로 따라갈 때, 또는 변화량 자체가 관심일 때
블록(처음 값이 비슷한 사람끼리 묶고, 묶음 안에서 무작위로 나눔)설계 단계에서 처음 값의 차이를 막는다. 직선 가정이 없다나누기 전에 처음 값을 알아야 한다. 묶음 안에 남은 차이는 그대로다배정 전에 처음 값을 잴 수 있을 때. 블록으로 나누고 공분산분석으로 분석하기도 한다

치료 전·뒤 두 번이 아니라 여러 시점을 거듭 쟀다면 반복 측정 쪽을 봅니다.

9. 파이썬으로

# 파이썬(statsmodels)으로 공분산분석
import statsmodels.formula.api as smf
# data: 열이 group(위약 0, 약 1), before(치료 전), after(치료 뒤)인 pandas 표
fit = smf.ols("after ~ C(group) + before", data).fit()
print(fit.params)   # C(group)[T.1] = 두 직선의 높이 차이(이 쪽 자료라면 −8), before = 공통 기울기(0.78)
# 평행 가정 보기: 집단 × 치료 전 항을 더해 그 항이 유의한지 본다
smf.ols("after ~ C(group) * before", data).fit().summary()

어디에 쓰나

자주 묻는 것

평균을 비교하는데 왜 이름이 「공분산」분석인가요?

분산분석이 제곱합을 쪼개듯, 공분산분석은 공변량과 결과가 같이 움직인 정도인 곱의 합(공분산의 바탕)도 같이 써서 기울기를 구하고 그 몫을 빼기 때문입니다. 비교하는 것은 여전히 집단 평균입니다.

변화량(치료 뒤 − 치료 전)으로 t 검정하는 것과 무엇이 다른가요?

변화량 분석은 기울기를 1 로 정해 둔 공분산분석과 같습니다. 공분산분석은 기울기를 자료에서 추정하므로, 참 기울기가 1 에서 멀수록 변화량 분석보다 잔차 변동이 작습니다.

기울기가 집단마다 다르면 어떻게 하나요?

집단 × 공변량 교호작용이 있는 것입니다. 두 직선의 간격이 공변량 값에 따라 달라지므로 높이 차이 하나로 말하지 않고, 교호작용 항을 넣은 식으로 공변량 값 몇 곳에서 효과를 따로 적습니다.

낱말

여기서 쓴 말책에서 부르는 말
출발선을 맞추고 집단 비교하기공분산분석(analysis of covariance, ANCOVA)
같이 잰 다른 값공변량, 공변수(covariate)
비교하려는 결과 값반응 변수, 종속 변수(response, dependent variable)
치료 전 값기저치, 기저값(baseline)
집단을 0 과 1 로 적은 칸가변수, 더미 변수, 지시 변수(dummy variable, indicator variable)
두 직선이 같이 쓰는 기울기공통 기울기, 공통 회귀계수(common slope, pooled within-group regression coefficient)
출발선을 맞춘 평균수정 평균, 보정 평균(adjusted mean), 최소제곱 평균(least-squares mean)
기울기가 집단마다 같음회귀계수의 동질성, 평행성 가정(homogeneity of regression slopes)
집단에 따라 기울기가 다름집단 × 공변량 교호작용(treatment-by-covariate interaction)
직선으로 설명되고 남은 흩어짐잔차, 오차(residual, error)
치료 뒤 − 치료 전변화량, 변화 점수(change score)
재지 않은 다른 차이가 효과에 섞임교란(confounding)

출처

← 반응표면분석반복 측정과 교차 설계 →