상관과 회귀: 두 값이 같이 움직이는 정도

나이가 많은 사람일수록 혈압이 높은 편일까요? 사람마다 두 값을 점 하나로 찍으면 구름이 생깁니다. 그 구름이 곧은 선에 얼마나 가까운지, 한 값으로 다른 값을 얼마나 예측할 수 있는지, 그 예측을 얼마나 믿을 수 있는지를 점을 끌어 보며 봅니다. 이 쪽의 자료는 모두 지어낸 것이고, 통계 개념을 설명하려는 것입니다.

한 줄 답. 상관계수 r 은 두 값이 얼마나 곧은 선에 가깝게 같이 움직이는지를 −1 에서 1 사이 숫자 하나로 나타낸 것입니다. 1 이면 한 직선을 따라 같이 오르고, −1 이면 한 직선을 따라 거꾸로 움직이고, 0 이면 곧은 관계가 없습니다. 회귀는 한 값으로 다른 값을 예측하는 직선(기울기와 절편)을 구하고, 그 기울기가 0 과 구별되는지를 따집니다. 상관이 있다고 해서 한쪽이 다른 쪽의 원인이라는 뜻은 아닙니다.

파란 점을 끌거나, 점을 고르고 나이와 혈압 숫자를 고쳐 보세요. 「점 빼기」는 고른 점(검은 고리)을 뺍니다(3 ~ 40개). 「자료 다시 뽑기」는 목표 r 막대의 값으로 지어낸 20명을 새로 뽑습니다. 누를 때마다 시드가 1, 2, 3… 으로 바뀌고, 같은 시드면 늘 같은 구름이 나옵니다. 막대를 움직이면 지금 시드 그대로 r 만 바꿔 다시 뽑습니다. 초록 직선이 회귀 직선이고, 자료가 있는 나이 범위 밖은 점선입니다. 초록 띠는 「그 나이 사람들의 평균 혈압」이, 보라 띠는 「그 나이의 새 한 사람」의 혈압이 있을 만한 95% 범위입니다.

해 볼 것. ① 처음 다섯 점은 3장의 손 계산과 같습니다. r = 0.7, r² = 0.49, 회귀 직선은 혈압 = 112.5 + 0.35 × 나이, 기울기의 95% 신뢰구간은 −0.31 ~ 1.01, p = 0.188 입니다. r 이 0.7 이어도 점이 다섯이면 기울기가 0 과 구별되지 않습니다. ② 2번 점을 (40, 134) 에서 (40, 120) 으로 끌어내리면 r = 0.9, 기울기 0.49, 신뢰구간 0.06 ~ 0.92, p = 0.036 이 됩니다. 점이 적으면 한 사람이 결론을 바꿉니다. ③ 「처음 자료」를 누른 뒤 「자료 다시 뽑기」를 누르면 목표 r 0.7 로 20명을 뽑습니다(시드 1). r = 0.7, 기울기 0.81, 신뢰구간 0.4 ~ 1.23, p < 0.001 입니다. 같은 r 이어도 점이 많아 구간이 좁고 0 을 품지 않습니다. ④ 이어서 목표 r 을 0.3 으로 옮기면 r = 0.29, 신뢰구간 −0.21 ~ 0.9, p = 0.208 입니다. 20명으로는 이만큼 약한 관계를 0 과 가르기 어렵습니다. ⑤ 목표 r 을 0.7 로 되돌리고 두 띠를 켜 보세요. 나이 50 세에서 신뢰 띠는 130.1 ~ 139.8 인데 예측 띠는 112.9 ~ 157 로 네 배 넘게 넓습니다. 두 띠 모두 가운데가 가장 좁고 양 끝으로 갈수록 넓어집니다.

1. 상관계수 r: 같이 움직이는 정도를 숫자 하나로

사람마다 두 값(나이와 혈압)을 재어 가로와 세로에 점 하나로 찍은 그림을 산점도라고 합니다. 구름이 오른쪽 위로 기울어 있으면 한 값이 클 때 다른 값도 큰 편이고(양의 상관), 오른쪽 아래로 기울어 있으면 거꾸로입니다(음의 상관). 상관계수 r 은 이 기울어진 정도가 아니라 구름이 한 직선에 얼마나 가깝게 모여 있는지를 부호와 함께 숫자 하나로 적은 것입니다. 흔히 피어슨 상관계수라고 부릅니다.

z_x = (x − x̄) ÷ s_x, z_y = (y − ȳ) ÷ s_y
r = Σ(z_x × z_y) ÷ (n − 1)

x̄(엑스 바)와 ȳ 는 평균, s_x 와 s_y 는 표준편차(n − 1 로 나눈 것), z 는 「평균에서 표준편차 몇 개만큼 떨어졌나」인 z 점수, Σ 는 모두 더한다는 기호, n 은 사람 수입니다. 풀어 쓰면 r = Σ(x − x̄)(y − ȳ) ÷ √(Σ(x − x̄)² × Σ(y − ȳ)²) 와 같습니다. 이 식이 왜 이렇게 생겼는지는 아래 「식이 만들어지는 과정」에서 그림으로 한 단계씩 봅니다.

성질뜻실험에서
−1 ~ 1끝(±1)은 모든 점이 한 직선 위에 있을 때만 나온다목표 r 을 1 로 두기
부호가 방향+ 는 같이 오름, − 는 한쪽이 오를 때 다른 쪽이 내려감목표 r 을 −0.5 로 두기
단위와 상관없다나이를 개월로, 혈압을 kPa 로 적어도 r 은 같다. 한쪽에 −1 을 곱하면 부호만 바뀐다식이 만들어지는 과정 ③·⑤
x 와 y 를 바꿔도 같다「나이와 혈압의 상관」과 「혈압과 나이의 상관」은 같은 숫자다4장의 표
곧은 관계만 잰다휘어진 관계는 놓치고, 이상치 하나에 크게 흔들린다실험 ②(6장)

2. r 의 크기 읽기와 r²

r 이 얼마면 「강한」 상관인지는 정해져 있지 않습니다. 약함·중간·강함의 경계는 분야마다 다른 약속이고, 책마다 내놓는 숫자도 다릅니다. 물리량을 정밀하게 재는 실험이라면 0.9 도 낮다고 볼 수 있고, 사람마다 사는 방식이 다른 건강 자료라면 0.3 도 눈여겨볼 수 있습니다. 숫자 하나에 이름표를 붙이기보다, 같은 분야의 다른 연구와 비교하고 아래의 r² 과 기울기를 같이 봅니다.

r 과 기울기는 다른 것입니다. 혈압이 나이에 따라 아주 조금씩, 하지만 아주 고르게 오르면 r 은 1 에 가깝고 기울기는 작습니다. 크게 오르지만 사람마다 들쭉날쭉하면 기울기는 크고 r 은 작습니다.

r²(결정계수)은 직선이 설명하는 분산의 몫입니다. 혈압이 사람마다 다른 정도를 「평균에서 떨어진 거리의 제곱의 합」으로 재면, 그 가운데 나이에 따른 직선으로 설명되는 몫이 r², 직선으로 설명되지 않고 남는 몫(잔차)이 1 − r² 입니다.

r² = 1 − Σ잔차² ÷ Σ(y − ȳ)²

손 예제(3장)라면 1 − 127.5 ÷ 250 = 0.49, 곧 0.7² 입니다. 혈압의 분산 가운데 49% 를 나이의 직선이 설명하고 51% 는 남습니다. r 이 0.5 면 r² 은 0.25 라서, r 이 절반이어도 설명하는 몫은 4분의 1 입니다. 「혈압의 49% 가 나이 때문」이라고 읽으면 틀립니다. 분산을 나눈 몫일 뿐 원인을 말하지 않습니다(10장).

3. 손으로 풀어 보기: 점 다섯 개

지어낸 다섯 사람의 나이와 수축기 혈압입니다. 위 실험의 처음 자료가 이것입니다.

사람나이 x혈압 yx − x̄y − ȳ(x − x̄)(y − ȳ)(x − x̄)²(y − ȳ)²
130120−20−10200400100
240134−104−4010016
3501280−2004
46012710−3−301009
5701412011220400121
합250650003501000250
  1. 평균: x̄ = 250 ÷ 5 = 50, ȳ = 650 ÷ 5 = 130
  2. 표의 합: Σ(x − x̄)(y − ȳ) = 350, Σ(x − x̄)² = 1000, Σ(y − ȳ)² = 250
  3. 상관계수: r = 350 ÷ √(1000 × 250) = 350 ÷ 500 = 0.7, r² = 0.49
  4. 기울기: b = 350 ÷ 1000 = 0.35. 나이가 한 살 많으면 혈압을 평균 0.35 mmHg 높게 예측합니다.
  5. 절편: a = ȳ − b × x̄ = 130 − 0.35 × 50 = 112.5
  6. 회귀 직선: 혈압 ≈ 112.5 + 0.35 × 나이
  7. 표준편차로 확인: s_x = √(1000 ÷ 4) = 15.81, s_y = √(250 ÷ 4) = 7.91, s_y ÷ s_x = 0.5 이므로 b = r × (s_y ÷ s_x) = 0.7 × 0.5 = 0.35

절편 112.5 는 「0 세의 혈압」이 아닙니다. 자료는 30 ~ 70 세에만 있으니 0 세는 범위 밖입니다(7장). 절편은 직선의 높이를 맞추는 숫자로만 읽습니다.

식이 만들어지는 과정: 상관계수 r

식 r = Σ(z_x × z_y) ÷ (n − 1) 을 한 단계씩 만들어 봅니다. 자료는 손 계산과 같은 다섯 사람입니다. 그림은 가로(나이)와 세로(혈압)의 눈금 한 칸을 같은 크기로 그려 구름의 모양이 그대로 보입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. ④ 단계의 표준화는 정규화와 표준화 쪽에서 구름이 옮겨 가고 줄어드는 모습으로 따로 볼 수 있습니다.

초록 네모는 +, 주황 네모는 − 로 셉니다. 네모 안의 숫자가 그 넓이입니다. ④·⑤ 단계에서는 점들이 z 점수 눈금으로 옮겨 가고, ⑥ 단계에서 원래 눈금으로 돌아옵니다.

왜 n − 1 로 나누나. 표준편차 s_x, s_y 를 n − 1 로 나눠 구했으니 짝을 맞춘 것입니다. 표준편차를 n 으로 나눠 구했다면 마지막에도 n 으로 나눕니다. 어느 쪽이든 r 은 같은 숫자가 나오고, 풀어 쓴 식 Σ(x − x̄)(y − ȳ) ÷ √(Σ(x − x̄)² × Σ(y − ȳ)²) 에는 아예 n 이 없습니다.

마지막 단계의 직선은 최소제곱 직선입니다. 그 쪽은 잔차의 제곱의 합을 가장 작게 하는 직선을 정사영으로 구하고, 기울기 Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)² 를 얻습니다. 분자와 분모를 각각 n − 1 로 나누면 공분산 ÷ s_x² 이고, 공분산은 r × s_x × s_y 이므로 r × (s_y ÷ s_x) 가 됩니다.

4. 회귀: 한 값으로 다른 값을 예측하는 직선

회귀는 한 값(x, 여기서는 나이)으로 다른 값(y, 혈압)을 예측하는 식을 구하는 일입니다. 가장 단순한 것이 직선 하나를 쓰는 단순 선형 회귀입니다.

y ≈ a + b × x, b = r × (s_y ÷ s_x), a = ȳ − b × x̄

b(기울기)는 「x 가 1 늘 때 y 의 평균이 얼마나 느나」이고 단위가 있습니다(mmHg/세). a(절편)는 x 가 0 일 때의 높이입니다. 직선은 늘 평균점 (x̄, ȳ) 을 지납니다. 이 직선을 어떻게 맞추는지, 왜 제곱을 쓰는지는 정사영과 최소제곱 쪽에서 다룹니다. 이 쪽은 통계의 눈으로 그 직선을 읽습니다.

상관회귀
묻는 것둘이 얼마나 곧게 같이 움직이나x 를 알면 y 를 얼마로 예측하나
x 와 y 를 바꾸면같다(대칭)다른 직선이 나온다
단위없다(−1 ~ 1)기울기는 y 의 단위 ÷ x 의 단위
내놓는 것r 하나기울기, 절편, 예측값, 잔차

x 와 y 를 바꾸면 다른 직선. 손 예제에서 혈압으로 나이를 예측하면 기울기는 r × (s_x ÷ s_y) = 0.7 × 2 = 1.4 세/mmHg 입니다. 이 직선을 같은 그림(가로 나이, 세로 혈압)에 그리면 기울기가 1 ÷ 1.4 ≈ 0.71 이라, 혈압을 나이로 예측한 직선(0.35)보다 가파릅니다. 두 직선은 평균점에서 만나고, r 이 ±1 일 때만 겹칩니다. 그래서 「무엇으로 무엇을 예측하나」를 먼저 정합니다.

5. 기울기는 0 과 구별되나: 신뢰구간과 p값

손 예제의 기울기 0.35 는 이 다섯 사람에게서 나온 값입니다. 다른 다섯 사람을 뽑았다면 다른 기울기가 나왔을 것입니다. 기울기가 뽑을 때마다 얼마나 흔들릴지를 표준오차로 추정하고, 그것으로 신뢰구간과 p값을 냅니다. 자료가 6장의 가정을 따른다고 볼 때의 계산입니다.

s = √(Σ잔차² ÷ (n − 2)): 점들이 직선에서 벗어난 정도
SE = s ÷ √Σ(x − x̄)²: 기울기의 표준오차
t = 기울기 ÷ SE, 자유도 n − 2
95% 신뢰구간 = 기울기 ± t* × SE

n − 2 인 까닭은 직선의 숫자 둘(기울기, 절편)을 같은 자료로 정했기 때문입니다. t* 는 자유도가 n − 2 인 t 분포에서 가운데 95% 를 남기는 값입니다. 자유도 3 이면 3.18, 18 이면 2.10, 아주 크면 정규분포의 1.96 에 다가갑니다. t 분포는 t 검정 쪽에서 봅니다. 이 쪽의 실험은 t 분포의 넓이를 표에서 읽지 않고 불완전 베타 함수로 직접 셉니다.

  1. 잔차(실제 − 예측): 120 − 123 = −3, 134 − 126.5 = 7.5, −2, −6.5, 4. 제곱의 합 127.5
  2. s = √(127.5 ÷ 3) = 6.52
  3. SE = 6.52 ÷ √1000 = 0.206
  4. t = 0.35 ÷ 0.206 = 1.70, 자유도 3, 양측 p = 0.188
  5. 신뢰구간: 0.35 ± 3.18 × 0.206 = 0.35 ± 0.66, 곧 −0.31 ~ 1.01

r 이 0.7 로 커 보여도, 점이 다섯이면 참 기울기가 0 이어도 이만큼 기운 자료가 드물지 않게 나옵니다. 구간이 0 을 품고 있는 것도 같은 말입니다. 같은 r 0.7 이라도 20명이면 p < 0.001 이고 구간은 0.4 ~ 1.23 입니다(실험 ① 의 「해 볼 것」 ③).

r 이 0 인지 묻는 검정과 기울기가 0 인지 묻는 검정은 같은 것입니다. t = r × √(n − 2) ÷ √(1 − r²) 로 r 에서 바로 셀 수 있고, 손 예제로는 0.7 × √3 ÷ √0.51 = 1.70 으로 같습니다.

이렇게 읽으면 틀린다
  • 「p = 0.188 이니 기울기가 0 일 확률이 18.8%」: 아닙니다. p 는 「기울기가 0 이라고 가정했을 때 이만큼 이상 기운 자료가 나올 확률」입니다. 가정이 맞을 확률이 아닙니다(가설검정과 p값).
  • 「p 가 0.05 보다 크니 나이와 혈압은 관계가 없다」: 아닙니다. 이 자료로는 0 과 구별하지 못했다는 뜻일 뿐입니다. 구간 −0.31 ~ 1.01 은 꽤 큰 양의 기울기도 품고 있습니다. 점이 적을 때 흔한 일입니다(검정력).
  • 「p 가 아주 작으니 관계가 강하다」: 아닙니다. 점이 많으면 약한 상관도 p 가 작아집니다. 1,000 명에서 r = 0.1 이면 p ≈ 0.002 이지만 r² 은 0.01, 분산의 1% 만 설명합니다.
  • 「참 기울기가 −0.31 ~ 1.01 안에 있을 확률이 95%」: 엄밀히는 아닙니다. 95% 는 방법의 성적입니다. 같은 방법으로 자료를 여러 번 뽑아 구간을 만들면 그 가운데 약 95% 가 참 기울기를 품습니다. 이번 구간 하나는 품었거나 못 품었거나 둘 중 하나입니다(신뢰구간).

신뢰 띠와 예측 띠

직선 둘레에도 두 가지 띠를 그릴 수 있습니다. 묻는 것이 다릅니다.

신뢰 띠 = 예측값 ± t* × s × √(1/n + (x − x̄)² ÷ Σ(x − x̄)²)
예측 띠 = 예측값 ± t* × s × √(1 + 1/n + (x − x̄)² ÷ Σ(x − x̄)²)

신뢰 띠(confidence band)는 「나이가 x 인 사람들의 평균 혈압」이 있을 만한 범위입니다. 점이 많아지면 점점 좁아집니다. 예측 띠(prediction band)는 「나이가 x 인 새 한 사람의 혈압」이 있을 만한 범위입니다. 한 사람마다의 분산(근호 안의 1)이 더해져 늘 더 넓고, 점이 아무리 많아도 그 분산보다 좁아지지 않습니다. 손 예제의 50 세라면 신뢰 띠는 120.7 ~ 139.3, 예측 띠는 107.3 ~ 152.7 입니다. 두 띠 모두 x̄ 에서 가장 좁고 멀어질수록 넓어집니다. 신뢰 띠의 폭은 30 세에서 32.1, 50 세에서 18.6, 80 세에서 43.5 입니다. 「신뢰 띠 안에 사람들 대부분이 들어간다」고 읽으면 틀립니다. 한 사람을 말할 때는 예측 띠를 봅니다.

6. r 이 못 보는 것: 먼저 그림을 그린다

요약 숫자가 같아도 자료는 전혀 다를 수 있습니다. 통계학자 앤스컴(Anscombe)은 1973년 논문에서 평균, 분산, 상관, 회귀 직선이 같은데 그림은 전혀 다른 네 자료를 보이며, 숫자만 볼 것이 아니라 그림을 함께 보아야 한다고 했습니다. 아래는 같은 생각으로 이 쪽이 새로 지어낸 네 자료입니다. 배양 시간(시간)과 세포 수(만 개)를 열 번씩 잰 지어낸 실험입니다.

자료x̄ȳs_xs_yr회귀 직선스피어만
A 곧은 구름6.007.003.161.980.80y = 4.00 + 0.50x0.73
B 휘어진 곡선6.007.003.161.980.80y = 4.00 + 0.50x0.71
C 이상치 하나6.007.003.161.980.80y = 4.00 + 0.50x0.96
D 한 점이 만든 직선6.007.003.161.980.80y = 4.00 + 0.50x0.52

단추로 보기를 바꿉니다. 「네 자료」는 네 자료를 같은 눈금에 그리고, 초록 직선은 각자의 회귀 직선입니다(자료 범위 밖은 점선). 「잔차 그림」은 같은 자료에서 점마다 직선과의 차이를 그립니다. 「U 자 곡선」은 온도와 효소 활동을 지어낸 자료입니다. 폰처럼 좁은 화면에서는 네 그림이 한 줄씩 쌓입니다.

해 볼 것. ① 「네 자료」: 표처럼 네 자료 모두 r = 0.8, 직선 y = 4 + 0.5x, 기울기의 p = 0.006 입니다. ② 「잔차 그림」: A 만 0 둘레에 아무 모양 없이 흩어져 있습니다. B 는 활 모양, C 는 한 점의 잔차가 3.25 로 홀로 크고, D 는 15 시간 점의 잔차가 꼭 0 입니다. ③ 「U 자 곡선」: r = 0, 직선의 기울기 0, 스피어만 0.04 입니다. 숫자는 「관계 없음」인데 그림은 뚜렷한 산 모양입니다.

가정과 잔차 그림 보는 법

잔차 그림은 가로에 x(또는 예측값), 세로에 잔차(실제 y − 직선의 y)를 찍은 그림입니다. 좋은 잔차 그림은 0 을 가운데로 한 띠 안에 아무 모양 없이 흩어져 있습니다. 5장의 신뢰구간과 p값은 아래 가정을 깔고 셉니다. 어긋나면 숫자를 믿기 어렵습니다.

가정잔차 그림에서 어긋난 모습어긋나면
관계가 곧다활이나 U 모양(B)곡선을 맞추거나 값을 바꿔(로그 등) 다시 본다
점끼리 서로 독립이다시간 순으로 이으면 물결이 진다. 한 사람이 여러 번 들어 있다같은 사람을 여러 번 잰 자료는 그에 맞는 방법을 쓴다(반복 측정)
등분산성한쪽으로 갈수록 나팔처럼 벌어진다표준오차와 p 가 틀린다. 값을 바꾸거나 분산을 고려하는 방법을 쓴다
잔차가 대략 정규분포한쪽으로 긴 꼬리, 멀리 튄 점점이 적을 때 특히 중요하다. 점이 많으면 덜 민감하다
한두 점이 결과를 정하지 않는다한 점만 멀리 튐(C), 혼자 떨어진 x(D)그 점을 빼고 다시 돌려 결론이 바뀌는지 본다. 이유 없이 지우지는 않는다

r = 0 은 「관계가 없다」가 아닙니다. 「U 자 곡선」의 효소 활동은 가운데 온도에서 가장 높고 양쪽으로 떨어지는 뚜렷한 관계인데 r 은 0 입니다. 왼쪽 절반의 오르막과 오른쪽 절반의 내리막이 서로 지워지기 때문입니다. r 은 곧은 관계만 잽니다.

7. 자료 범위 밖으로 넓히지 않는다

직선은 자료가 있는 범위에서만 확인된 것입니다. 손 예제의 직선 112.5 + 0.35 × 나이 에 0 세를 넣으면 112.5, 200 세를 넣으면 182.5 가 나오지만 둘 다 뜻이 없습니다. 자료에는 30 ~ 70 세뿐입니다. 범위 밖에서는 관계가 휘거나 멈출 수 있고(B 의 직선을 15 시간으로 넓히면 11.5 를 예측하지만 곡선은 이미 내려가는 중입니다), 띠도 x̄ 에서 멀어질수록 넓어집니다. 실험 ① 과 ② 에서 직선이 자료 범위 밖에서 점선인 까닭입니다. 범위 밖을 알고 싶으면 그 범위에서 자료를 더 모읍니다.

8. 순위 상관(스피어만): 값 대신 순위로

스피어만 순위 상관은 값을 작은 것부터 1, 2, 3… 순위로 바꾼 뒤 r 을 구한 것입니다. 같은 값은 순위를 나눠 갖습니다(3위와 4위가 같으면 둘 다 3.5). 그래서 「곧은가」가 아니라 「한쪽이 오를 때 다른 쪽도 늘 오르나(또는 늘 내려가나)」를 잽니다.

손 예제는 나이 순위가 1, 2, 3, 4, 5, 혈압 순위가 1, 4, 3, 2, 5 입니다. 순위의 차이 0, −2, 0, 2, 0 의 제곱의 합이 8 이고, 같은 값이 없을 때 쓰는 식 1 − 6 × Σ차이² ÷ (n × (n² − 1)) = 1 − 48 ÷ 120 = 0.6 입니다. 피어슨 r 은 0.7 이었습니다.

오르다 내리는 관계(U 자)는 순위 상관도 못 봅니다(0.04). 순위로 하는 다른 검정은 비모수 검정 쪽에서 봅니다.

9. 평균으로의 회귀

z 점수 눈금에서 회귀 직선의 기울기는 r 입니다(식이 만들어지는 과정 ⑥). r 이 1 보다 작으니, 한 검사에서 평균보다 2 표준편차 높았던 사람은 다른 검사에서 평균보다 2 × r 표준편차만큼만 높게 예측됩니다. r = 0.6 이면 1.2 입니다. 극단이었던 사람이 다음에는 평균 쪽에 더 가깝게 나오는 일을 평균으로의 회귀라고 합니다. 골턴(Galton)은 1886년 논문에서 부모와 자녀의 키를 비교하며 이 현상을 「평범함으로의 회귀」라고 불렀고, 통계의 「회귀」라는 이름이 여기서 왔습니다.

지어낸 200명이 같은 검사를 두 번 본 점수입니다. 점수 = 참 실력(평균 50, 표준편차 8) + 볼 때마다 새로 뽑는 흔들림(표준편차 6). 두 점수의 상관은 이론상 64 ÷ (64 + 36) = 0.64 이고, 이 지어낸 표본에서는 0.6 입니다(고정 시드). 주황 점이 고른 집단입니다. 「2차에서 높았던 사람」에서는 2차로 1차를 예측한 보라 직선도 그립니다.

해 볼 것. ① 처음(1차 상위 10%, 20명): 1차 평균 67.5 → 2차 평균 60.9. 아무것도 하지 않았는데 6.6 내려왔고, 회귀 직선의 예측(60.8)과 거의 같습니다. ② 「1차에서 낮았던 사람」: 34.4 → 41.4, 7 올라왔습니다. ③ 「2차에서 높았던 사람」: 2차 평균 67.4, 같은 사람들의 1차 평균 61.9. 시간을 거꾸로 보아도 평균 쪽으로 돌아옵니다. ④ 「1차에서 높았던 사람」을 5% 로 줄이면 70.4 → 61.5(8.9 내려옴), 30% 로 넓히면 61.8 → 57.1(4.7 내려옴). 극단을 고를수록 많이 돌아옵니다.

왜 그런가. 1차에서 아주 높게 나온 사람 가운데에는 실력도 높지만 그날 흔들림이 위로 간 사람이 많습니다. 2차에서는 흔들림을 새로 뽑으니, 실력은 그대로 남고 운은 평균 쪽으로 돌아갑니다. 거꾸로 2차에서 높았던 사람을 골라도 똑같습니다. 원인이 시간의 흐름이 아니라 고른 방법에 있기 때문입니다.

효과로 착각하기 쉽다. 1차 측정에서 혈압이 높게 나온 사람만 모아 무언가를 하고 다시 재면, 그것이 아무 일도 하지 않았어도 평균이 내려옵니다. 그래서 같은 기준으로 고른 사람들을 무작위로 나눠 한쪽은 하고 한쪽은 하지 않은 뒤(대조군), 두 집단의 변화를 비교합니다. 둘 다 같은 만큼 평균으로 돌아오므로, 차이만 남습니다(임상시험 설계).

10. 상관은 원인이 아니다

아래는 세 나이대(30대, 50대, 70대) 60명의 흰머리 비율과 수축기 혈압을 지어낸 자료입니다. 나이가 많을수록 둘 다 높게 지어냈고, 같은 나이대 안에서는 둘이 아무 관계 없게 만들었습니다.

해 볼 것. ① 처음에는 60명 전체로 r = 0.82, 기울기 0.55, p < 0.001 입니다. 흰머리가 혈압을 올리는 것처럼 보입니다. ② 「나이대별로 나눠 보기」를 누르면 30대, 50대, 70대 모두 집단 안의 r 이 0 입니다. 전체의 상관은 나이가 흰머리와 혈압을 같이 올려서 생긴 것입니다.

이렇게 둘 다에 영향을 주어 가짜 관계를 만드는 숨은 값을 교란 변수라고 합니다(교란과 편향). 두 값 사이에 상관이 생기는 길은 여럿입니다.

원인을 알아보는 가장 곧은 길은 무작위 배정 실험입니다. 동전 던지듯 나누면 숨은 값이 두 집단에 고르게 퍼집니다. 관찰한 자료에서는 숨은 값을 재서 함께 넣는 다중 회귀(11장) 등을 쓰지만, 재지 않은 숨은 값까지 막지는 못합니다.

11. 변수를 여럿 넣는 다중 회귀

x 가 여럿이면 y ≈ a + b₁ × x₁ + b₂ × x₂ + … 로 예측합니다. 이것이 다중 회귀이고, 숫자를 고르는 방법은 같은 최소제곱입니다. 여기서 b₁ 은 「다른 x 들을 같은 값으로 고정했을 때, x₁ 이 1 늘면 y 의 평균이 얼마나 바뀌나」로 읽습니다. 10장의 자료에 나이대를 함께 넣으면 흰머리의 기울기는 0 이 됩니다. 같은 나이대끼리 비교한 기울기만 남기 때문입니다. 다만 「고정했을 때」는 계산상의 뜻입니다. 넣지 않은 값은 고정되지 않고, x 들끼리 상관이 크면 기울기가 크게 흔들리며, 고정하려는 조합의 사람이 자료에 실제로 있어야 뜻이 있습니다. 변수를 너무 많이 넣으면 자료에만 맞는 모델이 되기도 합니다(과적합).

결과가 예/아니오일 때. 「병이 있다/없다」처럼 결과가 둘 중 하나면 직선은 0 아래나 1 위의 엉뚱한 값을 냅니다. 그때는 확률을 S 자 곡선으로 예측하는 로지스틱 회귀를 쓰고, 그 결과는 흔히 오즈비로 적습니다. 결과가 「사건이 일어나기까지의 시간」이면 생존 분석을 씁니다.

어디에 쓰나

# 파이썬 표준 라이브러리만으로 손 예제 풀기(3.12 이상)
import statistics as st
age = [30, 40, 50, 60, 70]
bp = [120, 134, 128, 127, 141]
st.correlation(age, bp)                   # 0.7: 피어슨 r
st.correlation(age, bp, method="ranked")  # 0.6: 스피어만
st.linear_regression(age, bp)             # 기울기 0.35, 절편 112.5

기울기의 표준오차와 p값까지 한 번에 받으려면 SciPy 의 scipy.stats.linregress 를 씁니다.

자주 묻는 것

상관계수 r 이 0 이면 두 값은 관계가 없나요?

곧은(직선) 관계가 없다는 뜻입니다. 산 모양이나 U 자처럼 휘어진 관계는 r 이 0 에 가까워도 뚜렷할 수 있습니다. 그래서 숫자보다 산점도를 먼저 그립니다.

r 이 얼마면 강한 상관인가요?

모두가 따르는 기준은 없습니다. 약함·중간·강함의 경계는 분야마다 다른 약속이고, 책마다 숫자도 다릅니다. r² 으로 직선이 설명하는 몫을 함께 보고, 그 분야의 다른 연구와 비교해 읽습니다.

상관과 회귀는 무엇이 다른가요?

상관은 두 값이 같이 움직이는 정도를 단위 없는 숫자 하나로 나타내고, x 와 y 를 바꿔도 같습니다. 회귀는 한 값으로 다른 값을 예측하는 직선을 구합니다. 기울기에는 단위가 있고, x 와 y 를 바꾸면 다른 직선이 나옵니다.

p값이 작으면 상관이 강한 건가요?

아닙니다. p값은 점의 수에 크게 달려 있습니다. 1,000 명이면 r = 0.1 처럼 약한 상관도 p ≈ 0.002 로 작게 나오고, 10 명이면 r = 0.6 이어도 p ≈ 0.07 입니다. 관계의 크기는 r, r², 기울기와 그 신뢰구간으로 읽습니다.

상관이 있으면 한쪽이 다른 쪽의 원인인가요?

그렇게 말할 수 없습니다. 숨은 제3의 값이 둘을 같이 움직이거나, 원인이 거꾸로이거나, 우연일 수 있습니다. 원인을 알아보는 가장 곧은 길은 무작위로 나눈 실험입니다.

낱말

여기서 쓴 말책에서 부르는 말
두 값을 점으로 찍은 그림산점도(scatter plot)
같이 움직이는 정도(단위가 있다)공분산(covariance)
같이 움직이는 정도(−1 ~ 1)피어슨 상관계수(Pearson correlation coefficient), r
직선이 설명하는 분산의 몫결정계수(coefficient of determination), r² 또는 R²
순위로 구한 상관스피어만 순위 상관계수(Spearman's rank correlation), ρ(로)
한 값으로 다른 값을 예측하는 직선회귀 직선(regression line), 단순 선형 회귀(simple linear regression)
기울기 / 절편회귀계수(slope, regression coefficient) / 절편(intercept)
예측하려는 값 / 예측에 쓰는 값반응 변수, 종속 변수(response, dependent variable) / 설명 변수, 독립 변수(predictor, explanatory variable)
실제 − 직선의 예측잔차(residual)
기울기가 뽑을 때마다 흔들리는 정도표준오차(standard error, SE)
n − 2자유도(degrees of freedom, df)
평균이 있을 만한 띠 / 새 한 사람이 있을 만한 띠신뢰 띠(confidence band) / 예측 띠, 예측 구간(prediction band, prediction interval)
잔차를 찍은 그림잔차 그림(residual plot)
퍼짐이 고르다등분산성(homoscedasticity)
튀는 점 / 혼자 떨어져 직선을 정하는 점이상치(outlier) / 지렛대가 큰 점(high-leverage point), 영향점(influential point)
범위 밖으로 넓히기외삽(extrapolation)
평균으로 돌아가기평균으로의 회귀(regression to the mean)
숨은 제3의 값교란 변수(confounder, confounding variable)
변수를 여럿 넣는 회귀 / 다른 것을 고정했을 때의 기울기다중 회귀(multiple regression) / 편회귀계수(partial regression coefficient)

출처

← 비모수 검정다중 회귀 →