다중 회귀: 다른 값을 같게 두고 비교하기

커피를 많이 마시는 사람은 혈압이 낮을까요? 지어낸 자료에서 커피 잔 수만 넣으면 그렇게 보입니다. 나이를 함께 넣으면 계수의 부호가 뒤집힙니다. 이 쪽은 상관과 회귀 11장에서 짧게 본 다중 회귀를 이어서, 계수가 왜 바뀌는지, 입력끼리 닮으면 무엇이 흔들리는지, 맞춘 정도를 어떻게 읽는지 봅니다. 자료는 모두 지어낸 것이고, 통계 개념을 설명하려는 것입니다.

한 줄 답. 다중 회귀는 y = b₀ + b₁x₁ + b₂x₂ + … 처럼 입력을 여럿 넣어 y 를 예측합니다. 계수 b₁ 은 「다른 입력을 같게 두었을 때 x₁ 이 1 늘면 y 가 b₁ 만큼 바뀐다」는 뜻이고, 그래서 「보정한(adjusted) 계수」라고 부릅니다. 입력끼리 얽혀 있으면 하나를 넣고 빼는 것만으로 계수가 크게 바뀌고, 입력끼리 너무 닮으면 계수가 뽑을 때마다 크게 흔들립니다.

1. 변수를 넣으면 계수가 바뀐다

지어낸 60명(30대, 50대, 70대 20명씩)의 하루 커피 잔 수와 수축기 혈압입니다. 자료를 지을 때 「나이가 많을수록 커피를 덜 마시고 혈압이 높다」, 「나이가 같으면 커피 한 잔에 혈압이 2 mmHg 높다」로 정했습니다.

점의 색이 나이대입니다. 「나이도 넣기」의 색 직선 셋은 나이를 그 나이대의 평균(약 35, 55, 74 세)으로 두었을 때 다중 회귀가 예측하는 혈압입니다. 기울기가 모두 같은 b₁ 이라 나란합니다.

해 볼 것. ① 「커피만 넣기」: 혈압 = 150.7 − 3.79 × 커피. 커피 한 잔이 많으면 혈압을 3.79 mmHg 낮게 예측합니다. R² = 0.21 입니다. ② 「나이도 넣기」: 혈압 = 106.1 + 1.6 × 커피 + 0.52 × 나이. 나이가 같은 사람끼리 비교하면 한 잔에 1.6 mmHg 높습니다. 부호가 뒤집혔고, R² 은 0.71 로 올랐습니다. ③ 자료를 지을 때 넣은 참값은 2 입니다. 60명의 표본이라 1.6 으로 추정됐고, 표준오차는 0.8 입니다(4장의 「식이 만들어지는 과정」 ④).

왜 바뀌나. 30대는 커피를 평균 3.87 잔 마시고 혈압이 130.65, 70대는 2.15 잔에 148.85 입니다. 커피만 넣으면 직선은 「커피를 적게 마시는 쪽 = 나이 많은 쪽 = 혈압 높은 쪽」을 함께 봅니다. 나이가 혈압을 올린 몫이 커피의 기울기에 섞여 들어가 내리막이 됩니다. 나이를 넣으면 그 몫은 나이의 계수가 가져가고, 커피의 계수에는 같은 나이 안에서의 차이만 남습니다. 이렇게 숨은 값이 두 입력에 다 걸려 있는 것이 교란이고(교란과 편향), 집단을 합치면 방향이 뒤집히는 일을 심프슨의 역설이라고 부릅니다.

둘 사이에는 정확한 식이 있습니다. 나이를 커피로 예측한 기울기를 δ 라 하면 커피만 넣은 기울기 = b₁ + b₂ × δ 입니다. 이 자료에서 δ = −10.27 세(커피를 한 잔 더 마시는 사람이 평균 10 세쯤 젊다)이니 1.6 + 0.52 × (−10.27) 이 커피만 넣은 기울기 −3.79 가 됩니다(숫자를 반올림해 적어 손으로 곱하면 끝자리가 조금 다릅니다). 누락 변수가 y 와 관계가 있고(b₂ ≠ 0) 넣은 입력과도 얽혀 있을 때(δ ≠ 0)만 계수가 바뀝니다. 둘 중 하나라도 0 이면 넣든 빼든 같습니다.

2. 식과 계산: 입력이 둘일 때

y = b₀ + b₁x₁ + b₂x₂ 에서 계수는 단순 회귀와 같은 최소제곱으로 고릅니다. 입력이 둘이면 각 값에서 평균을 뺀 뒤 아래 두 식(정규방정식)을 함께 풀면 됩니다.

S₁₁ × b₁ + S₁₂ × b₂ = S₁y
S₁₂ × b₁ + S₂₂ × b₂ = S₂y

S₁₁ = Σ(x₁ − x̄₁)², S₂₂ = Σ(x₂ − x̄₂)², S₁₂ = Σ(x₁ − x̄₁)(x₂ − x̄₂), S₁y = Σ(x₁ − x̄₁)(y − ȳ), S₂y 도 같은 꼴입니다. 풀면

b₁ = (S₂₂ × S₁y − S₁₂ × S₂y) ÷ (S₁₁ × S₂₂ − S₁₂²)
b₀ = ȳ − b₁ × x̄₁ − b₂ × x̄₂

입력이 서로 상관이 없으면(S₁₂ = 0) b₁ 은 단순 회귀의 기울기 S₁y ÷ S₁₁ 과 같습니다. 분모는 S₁₁ × S₂₂ × (1 − r₁₂²) 로 쓸 수 있습니다. r₁₂ 는 두 입력의 상관계수입니다. 두 입력이 닮을수록(r₁₂ 가 ±1 에 다가갈수록) 분모가 0 에 다가가 계수가 불안정해집니다. 4장의 이야기입니다. 이 쪽의 실험은 이 식을 그대로 셉니다. 입력이 셋 이상이면 같은 일을 행렬로 하고, 통계 도구가 대신 해 줍니다.

계수를 읽는 법. b₁ 의 단위는 「y 의 단위 ÷ x₁ 의 단위」(여기서는 mmHg/잔)입니다. 단위가 달라 b₁ 과 b₂ 의 크기를 서로 비교해 「어느 쪽이 더 중요하다」고 읽지 않습니다. b₀ 은 모든 입력이 0 일 때의 높이라, 0 세처럼 자료 밖이면 뜻이 없습니다.

3. 범주 넣기: 0 과 1 로 표시한 칸(가변수, 더미 변수)

나이대, 성별, 처치 집단처럼 숫자가 아닌 값은 0 과 1 로 표시한 칸인 가변수(dummy variable, 더미 변수)로 바꿔 넣습니다. 집단이 k 개면 칸은 k − 1 개이고, 칸이 없는 집단 하나가 기준 범주(reference category, 참조 범주)가 됩니다.

나이대[50대] 칸[70대] 칸
30대(기준)00
50대10
70대01

혈압 = b₀ + b₁ × 커피 + b₂ × [50대] + b₃ × [70대]

b₂ 는 「커피 잔 수가 같을 때 50대가 30대(기준)보다 평균 얼마나 높나」, b₃ 은 70대와 30대의 차이입니다. 집단마다 직선의 높이만 다르고 기울기 b₁ 은 같습니다. 기준을 70대로 바꾸면 절편과 가변수의 계수는 바뀌지만 커피의 계수와 사람마다의 예측값은 같습니다.

칸을 집단 수만큼(셋) 만들면 세 칸의 합이 늘 1 이라 절편과 똑같아집니다. 그러면 식을 하나로 정할 수 없습니다(가변수 함정). 집단만 있고 연속 입력이 없으면, 가변수를 넣은 회귀는 집단 평균을 비교하는 분산분석과 같은 검정이 됩니다. 나이대별로 커피의 기울기 자체가 다르다고 보면 커피 × [70대] 같은 상호작용 항(곱한 칸)을 더합니다.

4. 입력끼리 너무 닮았을 때(다중공선성)

두 입력이 거의 같이 움직이면, y 가 오른 것이 어느 쪽 때문인지 자료가 가르지 못합니다. 계수는 뽑을 때마다 크게 흔들리고(표준오차가 커지고), 부호가 거꾸로 나오기도 합니다. 이것을 다중공선성이라고 합니다. 아래는 30명을 뽑아 y = x₁ + x₂ + 오차 을 맞추는 일을 200번 되풀이해, 구한 b₁ 을 점 하나씩 찍은 것입니다. 참값은 b₁ = 1 입니다.

막대를 움직이면 같은 시드로 두 입력의 상관만 바꿔 200번을 다시 뽑습니다. 세로 자리는 점이 겹치지 않게 흩은 것이라 뜻이 없습니다. 주황 점은 b₁ 이 0 보다 작게, 곧 부호가 거꾸로 나온 것입니다.

해 볼 것. ① 상관 0: b₁ 의 표준편차 0.2, 모두 0 보다 큽니다. ② 0.9: VIF = 5.26, √VIF = 2.29. 표준편차 0.44 로 상관 0 일 때의 2.2배이고, 3번은 부호가 거꾸로입니다. ③ 0.99: VIF = 50.25, √VIF = 7.09. 표준편차 1.35 로 6.9배, 200번 가운데 44번이 0 보다 작습니다. 표준편차가 늘어나는 배수가 √VIF 와 거의 같습니다.

VIF(분산 팽창 인자)는 이 흔들림이 몇 배가 되는지를 입력마다 적은 숫자입니다.

VIF = 1 ÷ (1 − R²ⱼ)

R²ⱼ 는 입력 j 를 나머지 입력들로 예측한 회귀의 R² 입니다(y 는 쓰지 않습니다). 입력이 둘이면 R²ⱼ 는 두 입력의 상관계수의 제곱입니다. 상관이 0.9 면 1 ÷ (1 − 0.81) = 5.26, 0.99 면 50.25 입니다. VIF 는 계수의 분산이 커지는 배수이고, 표준오차는 √VIF 배가 됩니다. 몇 이상이면 문제라는 기준은 책마다 다릅니다. 숫자 하나로 자르기보다 그 계수의 표준오차와 신뢰구간이 쓸 만한지를 봅니다.

다중공선성은 계수를 흔들지만, 자료와 같은 모양의 입력에서는 예측값 자체를 크게 흔들지 않습니다. b₁ 이 커지면 b₂ 가 줄어 서로 메우기 때문입니다. 계수를 읽어야 할 때 문제입니다.

식이 만들어지는 과정: VIF

식 VIF = 1 ÷ (1 − R²ⱼ) 를 실험 ① 의 자료(커피와 나이)로 한 단계씩 만들어 봅니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 아래에 까닭이 나옵니다.

점의 색은 실험 ① 과 같은 나이대입니다. 주황 세로선은 나이로 설명되지 않고 남은 커피의 몫(잔차)입니다.

해 볼 것. 단계를 끝까지 넘기면 커피 ≈ 5.45 − 0.045 × 나이, R²ⱼ = 0.47, 1 − R²ⱼ = 0.53, VIF = 1.87, √VIF = 1.37 이고, 커피 계수의 표준오차는 0.585 × 1.37 = 0.801 입니다. 실험 ① 의 커피와 나이는 이만큼 닮아 있어, 나이를 넣으면 커피 계수의 표준오차가 1.37 배 넓어집니다.

② 단계가 「같게 둔다」의 뜻입니다. 다중 회귀의 b₁ 은 x₁ 에서 다른 입력으로 설명되는 몫을 뺀 나머지(잔차)로 y 를 단순 회귀한 기울기와 꼭 같습니다(프리시-워-로벨 정리). 「나이를 같게 두고」는 계산으로는 「나이로 설명되는 커피의 몫을 빼고」입니다.

5. 맞춘 정도: R² 과 조정된 R²

R²(결정계수)은 단순 회귀와 같이 「y 의 분산 가운데 식이 설명하는 몫」입니다.

R² = 1 − Σ잔차² ÷ Σ(y − ȳ)²

입력을 하나 넣으면 R² 은 줄지 않습니다. 새 입력의 계수를 0 으로 두면 전과 같은 식이니, 최소제곱은 적어도 그만큼은 맞춥니다. 아무 관계 없는 난수 칸을 넣어도 R² 은 조금 오릅니다. 그래서 입력 수로 벌을 준 조정된 R² 을 같이 봅니다.

조정된 R² = 1 − (Σ잔차² ÷ (n − p − 1)) ÷ (Σ(y − ȳ)² ÷ (n − 1))

p 는 입력의 수(절편 빼고), n − p − 1 은 잔차의 자유도입니다. 같은 뜻으로 1 − (1 − R²) × (n − 1) ÷ (n − p − 1) 입니다. 쓸모없는 입력을 넣으면 Σ잔차² 은 조금 줄지만 n − p − 1 도 줄어, 조정된 R² 은 내려갈 수 있습니다. 실험 ① 에서 커피만 넣으면 R² 0.21, 조정된 R² 0.2, 나이도 넣으면 0.71 과 0.7 입니다. 나이는 넣을 만한 값이었습니다.

조정된 R² 도 같은 자료로 맞추고 같은 자료로 잰 숫자입니다. 새 자료에서 얼마나 맞을지는 따로 떼어 둔 자료나 교차 검증으로 봅니다(과적합).

6. 가정과 잔차 그림

계수의 표준오차, 신뢰구간, p값은 단순 회귀와 같은 가정을 깔고 셉니다. 보는 법은 상관과 회귀 6장의 「가정과 잔차 그림 보는 법」과 같습니다.

입력이 여럿이면 가로에 예측값을 두고 잔차를 찍은 그림 하나와, 입력마다 가로에 그 입력을 둔 잔차 그림을 봅니다.

7. 틀리기 쉬운 점

이렇게 읽으면 틀린다
  • 「나이를 보정한 커피 계수가 유의하니 커피가 혈압을 올린다」: 아닙니다. 같게 둔 것은 식에 넣은 나이뿐입니다. 재지 않은 교란(운동, 흡연 등)은 그대로 남습니다(교란과 편향). 원인을 말하려면 무작위로 나눈 실험이 필요합니다.
  • 「변수를 많이 넣을수록 더 정확하다」: 아닙니다. R² 은 넣기만 해도 오르고(5장), 닮은 입력은 계수를 흔들고(4장), 쓸모없는 입력은 자료에만 맞는 모델을 만듭니다(과적합). 원인과 결과 사이에 끼인 값이나 결과에서 생긴 값을 넣으면 계수가 오히려 어긋납니다.
  • 「식이 있으니 어떤 조합이든 예측할 수 있다」: 아닙니다. 입력 하나하나는 자료 범위 안이어도 그 조합이 자료에 거의 없을 수 있습니다. 예를 들어 커피를 많이 마시는 70대가 자료에 거의 없다면, 그 조합의 예측은 범위 밖으로 넓힌 것과 같습니다(범위 밖으로 넓히지 않는다).
  • 「계수가 큰 쪽이 더 중요하다」: 단위가 다르면 비교할 수 없습니다. 2장의 「계수를 읽는 법」을 보세요.

언제 무엇을 쓰나

방법좋은 점나쁜 점쓰는 경우
단순 회귀(입력 하나)그림 하나로 보이고 읽기 쉽다얽힌 다른 값의 몫이 기울기에 섞인다관계를 처음 볼 때, 무작위로 나눈 실험에서 처치 하나의 효과를 볼 때
다중 회귀(입력 여럿)잰 다른 값을 같게 두고 비교한다재지 않은 교란은 못 막는다. 입력끼리 닮으면 계수가 흔들린다관찰한 자료에서 교란을 보정할 때, 여러 입력으로 y 를 예측할 때
가변수로 범주 넣기집단 차이와 연속 입력을 한 식에서 본다집단 수 − 1 칸이 필요하고, 계수는 기준 범주에 따라 읽는다성별, 나이대, 처치 집단
분산분석집단 평균의 차이를 한 번에 검정한다연속 입력의 기울기는 따로 다뤄야 한다집단만 비교하는 실험
로지스틱 회귀결과가 예/아니오일 때 확률을 0 ~ 1 안에서 예측한다계수가 확률이 아니라 오즈의 로그라 읽기 어렵다병이 있다/없다, 산다/안 산다
닮은 입력 하나 빼거나 합치기계수가 안정된다그 둘을 따로 가르는 답은 포기한다VIF 가 크고 계수를 읽어야 할 때

파이썬으로

# data: 지어낸 자료(pandas 표). 혈압 bp, 커피 잔 수 coffee, 나이 age,
# 운동 습관 group("none", "some", "often")
import statsmodels.formula.api as smf

model = smf.ols("bp ~ coffee + age + C(group)", data=data).fit()
print(model.summary())   # 계수, 표준오차, t, p, R², 조정된 R²
# C(group): 집단을 가변수 칸으로 바꾼다. 기준 범주는 이름 순으로 첫 집단(여기서는 "none")

자주 묻는 것

다중 회귀에서 계수가 유의하면 그 변수가 원인인가요?

아닙니다. 다중 회귀가 같게 두는 것은 식에 넣은 변수뿐입니다. 재지 않은 교란 변수는 그대로 남고, 원인이 거꾸로일 수도 있습니다. 원인을 말하려면 무작위로 나눈 실험이나 그에 맞춘 설계가 필요합니다.

변수는 많이 넣을수록 좋은가요?

아닙니다. 변수를 넣기만 해도 R² 은 줄지 않으니 좋아 보일 뿐입니다. 쓸모없는 변수는 계수를 흔들고 자료에만 맞는 모델을 만듭니다. 원인과 결과 사이에 끼인 값이나 결과에서 생긴 값을 넣으면 계수가 오히려 어긋납니다. 무엇을 넣을지는 자료를 보기 전에 질문과 배경 지식으로 정합니다.

VIF 가 크면 어떻게 하나요?

계수 하나하나를 읽어야 한다면 닮은 입력 가운데 하나를 빼거나, 둘을 합친 값 하나로 바꾸거나, 자료를 더 모읍니다. 예측만 한다면 자료와 같은 모양의 입력에서는 큰 문제가 아닐 수 있습니다. 몇 이상이면 문제라는 기준은 책마다 다릅니다.

낱말

여기서 쓴 말책에서 부르는 말
입력을 여럿 넣는 회귀다중 선형 회귀(multiple linear regression)
다른 입력을 같게 두었을 때의 기울기편회귀계수(partial regression coefficient), 보정한 계수(adjusted coefficient)
계수를 정하는 연립방정식정규방정식(normal equations)
숨은 값이 계수를 바꿈 / 빠뜨려서 생긴 어긋남교란(confounding) / 누락 변수 편향(omitted variable bias)
집단을 합치면 방향이 뒤집힘심프슨의 역설(Simpson's paradox)
0 과 1 로 표시한 칸가변수, 더미 변수(dummy variable, indicator variable)
칸이 없는 집단기준 범주, 참조 범주(reference category)
곱한 칸상호작용 항(interaction term)
입력끼리 너무 닮음다중공선성(multicollinearity)
흔들림이 몇 배가 되나분산 팽창 인자(variance inflation factor, VIF)
다른 입력을 뺀 나머지로 본 기울기프리시-워-로벨 정리(Frisch–Waugh–Lovell theorem)
식이 설명하는 몫 / 입력 수로 벌을 준 것결정계수(R²) / 조정된 결정계수(adjusted R²)
n − p − 1잔차의 자유도(residual degrees of freedom)

출처

← 상관과 회귀다중 비교 →