상관과 회귀: 두 값이 같이 움직이는 정도
나이가 많은 사람일수록 혈압이 높은 편일까요? 사람마다 두 값을 점 하나로 찍으면 구름이 생깁니다. 그 구름이 곧은 선에 얼마나 가까운지, 한 값으로 다른 값을 얼마나 예측할 수 있는지, 그 예측을 얼마나 믿을 수 있는지를 점을 끌어 보며 봅니다. 이 쪽의 자료는 모두 지어낸 것이고, 통계 개념을 설명하려는 것입니다.
한 줄 답. 상관계수 r 은 두 값이 얼마나 곧은 선에 가깝게 같이 움직이는지를 −1 에서 1 사이 숫자 하나로 나타낸 것입니다. 1 이면 한 직선을 따라 같이 오르고, −1 이면 한 직선을 따라 거꾸로 움직이고, 0 이면 곧은 관계가 없습니다. 회귀는 한 값으로 다른 값을 예측하는 직선(기울기와 절편)을 구하고, 그 기울기가 0 과 구별되는지를 따집니다. 상관이 있다고 해서 한쪽이 다른 쪽의 원인이라는 뜻은 아닙니다.
파란 점을 끌거나, 점을 고르고 나이와 혈압 숫자를 고쳐 보세요. 「점 빼기」는 고른 점(검은 고리)을 뺍니다(3 ~ 40개). 「자료 다시 뽑기」는 목표 r 막대의 값으로 지어낸 20명을 새로 뽑습니다. 누를 때마다 시드가 1, 2, 3… 으로 바뀌고, 같은 시드면 늘 같은 구름이 나옵니다. 막대를 움직이면 지금 시드 그대로 r 만 바꿔 다시 뽑습니다. 초록 직선이 회귀 직선이고, 자료가 있는 나이 범위 밖은 점선입니다. 초록 띠는 「그 나이 사람들의 평균 혈압」이, 보라 띠는 「그 나이의 새 한 사람」의 혈압이 있을 만한 95% 범위입니다.
해 볼 것. ① 처음 다섯 점은 3장의 손 계산과 같습니다. r = 0.7, r² = 0.49, 회귀 직선은 혈압 = 112.5 + 0.35 × 나이, 기울기의 95% 신뢰구간은 −0.31 ~ 1.01, p = 0.188 입니다. r 이 0.7 이어도 점이 다섯이면 기울기가 0 과 구별되지 않습니다. ② 2번 점을 (40, 134) 에서 (40, 120) 으로 끌어내리면 r = 0.9, 기울기 0.49, 신뢰구간 0.06 ~ 0.92, p = 0.036 이 됩니다. 점이 적으면 한 사람이 결론을 바꿉니다. ③ 「처음 자료」를 누른 뒤 「자료 다시 뽑기」를 누르면 목표 r 0.7 로 20명을 뽑습니다(시드 1). r = 0.7, 기울기 0.81, 신뢰구간 0.4 ~ 1.23, p < 0.001 입니다. 같은 r 이어도 점이 많아 구간이 좁고 0 을 품지 않습니다. ④ 이어서 목표 r 을 0.3 으로 옮기면 r = 0.29, 신뢰구간 −0.21 ~ 0.9, p = 0.208 입니다. 20명으로는 이만큼 약한 관계를 0 과 가르기 어렵습니다. ⑤ 목표 r 을 0.7 로 되돌리고 두 띠를 켜 보세요. 나이 50 세에서 신뢰 띠는 130.1 ~ 139.8 인데 예측 띠는 112.9 ~ 157 로 네 배 넘게 넓습니다. 두 띠 모두 가운데가 가장 좁고 양 끝으로 갈수록 넓어집니다.
1. 상관계수 r: 같이 움직이는 정도를 숫자 하나로
사람마다 두 값(나이와 혈압)을 재어 가로와 세로에 점 하나로 찍은 그림을 산점도라고 합니다. 구름이 오른쪽 위로 기울어 있으면 한 값이 클 때 다른 값도 큰 편이고(양의 상관), 오른쪽 아래로 기울어 있으면 거꾸로입니다(음의 상관). 상관계수 r 은 이 기울어진 정도가 아니라 구름이 한 직선에 얼마나 가깝게 모여 있는지를 부호와 함께 숫자 하나로 적은 것입니다. 흔히 피어슨 상관계수라고 부릅니다.
z_x = (x − x̄) ÷ s_x, z_y = (y − ȳ) ÷ s_yr = Σ(z_x × z_y) ÷ (n − 1)
x̄(엑스 바)와 ȳ 는 평균, s_x 와 s_y 는 표준편차(n − 1 로 나눈 것), z 는 「평균에서 표준편차 몇 개만큼 떨어졌나」인 z 점수, Σ 는 모두 더한다는 기호, n 은 사람 수입니다. 풀어 쓰면 r = Σ(x − x̄)(y − ȳ) ÷ √(Σ(x − x̄)² × Σ(y − ȳ)²) 와 같습니다. 이 식이 왜 이렇게 생겼는지는 아래 「식이 만들어지는 과정」에서 그림으로 한 단계씩 봅니다.
| 성질 | 뜻 | 실험에서 |
|---|---|---|
| −1 ~ 1 | 끝(±1)은 모든 점이 한 직선 위에 있을 때만 나온다 | 목표 r 을 1 로 두기 |
| 부호가 방향 | + 는 같이 오름, − 는 한쪽이 오를 때 다른 쪽이 내려감 | 목표 r 을 −0.5 로 두기 |
| 단위와 상관없다 | 나이를 개월로, 혈압을 kPa 로 적어도 r 은 같다. 한쪽에 −1 을 곱하면 부호만 바뀐다 | 식이 만들어지는 과정 ③·⑤ |
| x 와 y 를 바꿔도 같다 | 「나이와 혈압의 상관」과 「혈압과 나이의 상관」은 같은 숫자다 | 4장의 표 |
| 곧은 관계만 잰다 | 휘어진 관계는 놓치고, 이상치 하나에 크게 흔들린다 | 실험 ②(6장) |
2. r 의 크기 읽기와 r²
r 이 얼마면 「강한」 상관인지는 정해져 있지 않습니다. 약함·중간·강함의 경계는 분야마다 다른 약속이고, 책마다 내놓는 숫자도 다릅니다. 물리량을 정밀하게 재는 실험이라면 0.9 도 낮다고 볼 수 있고, 사람마다 사는 방식이 다른 건강 자료라면 0.3 도 눈여겨볼 수 있습니다. 숫자 하나에 이름표를 붙이기보다, 같은 분야의 다른 연구와 비교하고 아래의 r² 과 기울기를 같이 봅니다.
r 과 기울기는 다른 것입니다. 혈압이 나이에 따라 아주 조금씩, 하지만 아주 고르게 오르면 r 은 1 에 가깝고 기울기는 작습니다. 크게 오르지만 사람마다 들쭉날쭉하면 기울기는 크고 r 은 작습니다.
r²(결정계수)은 직선이 설명하는 분산의 몫입니다. 혈압이 사람마다 다른 정도를 「평균에서 떨어진 거리의 제곱의 합」으로 재면, 그 가운데 나이에 따른 직선으로 설명되는 몫이 r², 직선으로 설명되지 않고 남는 몫(잔차)이 1 − r² 입니다.
r² = 1 − Σ잔차² ÷ Σ(y − ȳ)²
손 예제(3장)라면 1 − 127.5 ÷ 250 = 0.49, 곧 0.7² 입니다. 혈압의 분산 가운데 49% 를 나이의 직선이 설명하고 51% 는 남습니다. r 이 0.5 면 r² 은 0.25 라서, r 이 절반이어도 설명하는 몫은 4분의 1 입니다. 「혈압의 49% 가 나이 때문」이라고 읽으면 틀립니다. 분산을 나눈 몫일 뿐 원인을 말하지 않습니다(10장).
3. 손으로 풀어 보기: 점 다섯 개
지어낸 다섯 사람의 나이와 수축기 혈압입니다. 위 실험의 처음 자료가 이것입니다.
| 사람 | 나이 x | 혈압 y | x − x̄ | y − ȳ | (x − x̄)(y − ȳ) | (x − x̄)² | (y − ȳ)² |
|---|---|---|---|---|---|---|---|
| 1 | 30 | 120 | −20 | −10 | 200 | 400 | 100 |
| 2 | 40 | 134 | −10 | 4 | −40 | 100 | 16 |
| 3 | 50 | 128 | 0 | −2 | 0 | 0 | 4 |
| 4 | 60 | 127 | 10 | −3 | −30 | 100 | 9 |
| 5 | 70 | 141 | 20 | 11 | 220 | 400 | 121 |
| 합 | 250 | 650 | 0 | 0 | 350 | 1000 | 250 |
- 평균: x̄ = 250 ÷ 5 = 50, ȳ = 650 ÷ 5 = 130
- 표의 합: Σ(x − x̄)(y − ȳ) = 350, Σ(x − x̄)² = 1000, Σ(y − ȳ)² = 250
- 상관계수:
r = 350 ÷ √(1000 × 250) = 350 ÷ 500 = 0.7, r² = 0.49 - 기울기:
b = 350 ÷ 1000 = 0.35. 나이가 한 살 많으면 혈압을 평균 0.35 mmHg 높게 예측합니다. - 절편:
a = ȳ − b × x̄ = 130 − 0.35 × 50 = 112.5 - 회귀 직선: 혈압 ≈ 112.5 + 0.35 × 나이
- 표준편차로 확인: s_x = √(1000 ÷ 4) = 15.81, s_y = √(250 ÷ 4) = 7.91, s_y ÷ s_x = 0.5 이므로
b = r × (s_y ÷ s_x) = 0.7 × 0.5 = 0.35
절편 112.5 는 「0 세의 혈압」이 아닙니다. 자료는 30 ~ 70 세에만 있으니 0 세는 범위 밖입니다(7장). 절편은 직선의 높이를 맞추는 숫자로만 읽습니다.
식이 만들어지는 과정: 상관계수 r
식 r = Σ(z_x × z_y) ÷ (n − 1) 을 한 단계씩 만들어 봅니다. 자료는 손 계산과 같은 다섯 사람입니다. 그림은 가로(나이)와 세로(혈압)의 눈금 한 칸을 같은 크기로 그려 구름의 모양이 그대로 보입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. ④ 단계의 표준화는 정규화와 표준화 쪽에서 구름이 옮겨 가고 줄어드는 모습으로 따로 볼 수 있습니다.
초록 네모는 +, 주황 네모는 − 로 셉니다. 네모 안의 숫자가 그 넓이입니다. ④·⑤ 단계에서는 점들이 z 점수 눈금으로 옮겨 가고, ⑥ 단계에서 원래 눈금으로 돌아옵니다.
왜 n − 1 로 나누나. 표준편차 s_x, s_y 를 n − 1 로 나눠 구했으니 짝을 맞춘 것입니다. 표준편차를 n 으로 나눠 구했다면 마지막에도 n 으로 나눕니다. 어느 쪽이든 r 은 같은 숫자가 나오고, 풀어 쓴 식 Σ(x − x̄)(y − ȳ) ÷ √(Σ(x − x̄)² × Σ(y − ȳ)²) 에는 아예 n 이 없습니다.
마지막 단계의 직선은 최소제곱 직선입니다. 그 쪽은 잔차의 제곱의 합을 가장 작게 하는 직선을 정사영으로 구하고, 기울기 Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)² 를 얻습니다. 분자와 분모를 각각 n − 1 로 나누면 공분산 ÷ s_x² 이고, 공분산은 r × s_x × s_y 이므로 r × (s_y ÷ s_x) 가 됩니다.
4. 회귀: 한 값으로 다른 값을 예측하는 직선
회귀는 한 값(x, 여기서는 나이)으로 다른 값(y, 혈압)을 예측하는 식을 구하는 일입니다. 가장 단순한 것이 직선 하나를 쓰는 단순 선형 회귀입니다.
y ≈ a + b × x, b = r × (s_y ÷ s_x), a = ȳ − b × x̄
b(기울기)는 「x 가 1 늘 때 y 의 평균이 얼마나 느나」이고 단위가 있습니다(mmHg/세). a(절편)는 x 가 0 일 때의 높이입니다. 직선은 늘 평균점 (x̄, ȳ) 을 지납니다. 이 직선을 어떻게 맞추는지, 왜 제곱을 쓰는지는 정사영과 최소제곱 쪽에서 다룹니다. 이 쪽은 통계의 눈으로 그 직선을 읽습니다.
| 상관 | 회귀 | |
|---|---|---|
| 묻는 것 | 둘이 얼마나 곧게 같이 움직이나 | x 를 알면 y 를 얼마로 예측하나 |
| x 와 y 를 바꾸면 | 같다(대칭) | 다른 직선이 나온다 |
| 단위 | 없다(−1 ~ 1) | 기울기는 y 의 단위 ÷ x 의 단위 |
| 내놓는 것 | r 하나 | 기울기, 절편, 예측값, 잔차 |
x 와 y 를 바꾸면 다른 직선. 손 예제에서 혈압으로 나이를 예측하면 기울기는 r × (s_x ÷ s_y) = 0.7 × 2 = 1.4 세/mmHg 입니다. 이 직선을 같은 그림(가로 나이, 세로 혈압)에 그리면 기울기가 1 ÷ 1.4 ≈ 0.71 이라, 혈압을 나이로 예측한 직선(0.35)보다 가파릅니다. 두 직선은 평균점에서 만나고, r 이 ±1 일 때만 겹칩니다. 그래서 「무엇으로 무엇을 예측하나」를 먼저 정합니다.
5. 기울기는 0 과 구별되나: 신뢰구간과 p값
손 예제의 기울기 0.35 는 이 다섯 사람에게서 나온 값입니다. 다른 다섯 사람을 뽑았다면 다른 기울기가 나왔을 것입니다. 기울기가 뽑을 때마다 얼마나 흔들릴지를 표준오차로 추정하고, 그것으로 신뢰구간과 p값을 냅니다. 자료가 6장의 가정을 따른다고 볼 때의 계산입니다.
s = √(Σ잔차² ÷ (n − 2)): 점들이 직선에서 벗어난 정도SE = s ÷ √Σ(x − x̄)²: 기울기의 표준오차t = 기울기 ÷ SE, 자유도 n − 295% 신뢰구간 = 기울기 ± t* × SE
n − 2 인 까닭은 직선의 숫자 둘(기울기, 절편)을 같은 자료로 정했기 때문입니다. t* 는 자유도가 n − 2 인 t 분포에서 가운데 95% 를 남기는 값입니다. 자유도 3 이면 3.18, 18 이면 2.10, 아주 크면 정규분포의 1.96 에 다가갑니다. t 분포는 t 검정 쪽에서 봅니다. 이 쪽의 실험은 t 분포의 넓이를 표에서 읽지 않고 불완전 베타 함수로 직접 셉니다.
- 잔차(실제 − 예측): 120 − 123 = −3, 134 − 126.5 = 7.5, −2, −6.5, 4. 제곱의 합 127.5
s = √(127.5 ÷ 3) = 6.52SE = 6.52 ÷ √1000 = 0.206t = 0.35 ÷ 0.206 = 1.70, 자유도 3, 양측 p = 0.188- 신뢰구간:
0.35 ± 3.18 × 0.206 = 0.35 ± 0.66, 곧 −0.31 ~ 1.01
r 이 0.7 로 커 보여도, 점이 다섯이면 참 기울기가 0 이어도 이만큼 기운 자료가 드물지 않게 나옵니다. 구간이 0 을 품고 있는 것도 같은 말입니다. 같은 r 0.7 이라도 20명이면 p < 0.001 이고 구간은 0.4 ~ 1.23 입니다(실험 ① 의 「해 볼 것」 ③).
r 이 0 인지 묻는 검정과 기울기가 0 인지 묻는 검정은 같은 것입니다. t = r × √(n − 2) ÷ √(1 − r²) 로 r 에서 바로 셀 수 있고, 손 예제로는 0.7 × √3 ÷ √0.51 = 1.70 으로 같습니다.
- 「p = 0.188 이니 기울기가 0 일 확률이 18.8%」: 아닙니다. p 는 「기울기가 0 이라고 가정했을 때 이만큼 이상 기운 자료가 나올 확률」입니다. 가정이 맞을 확률이 아닙니다(가설검정과 p값).
- 「p 가 0.05 보다 크니 나이와 혈압은 관계가 없다」: 아닙니다. 이 자료로는 0 과 구별하지 못했다는 뜻일 뿐입니다. 구간 −0.31 ~ 1.01 은 꽤 큰 양의 기울기도 품고 있습니다. 점이 적을 때 흔한 일입니다(검정력).
- 「p 가 아주 작으니 관계가 강하다」: 아닙니다. 점이 많으면 약한 상관도 p 가 작아집니다. 1,000 명에서 r = 0.1 이면 p ≈ 0.002 이지만 r² 은 0.01, 분산의 1% 만 설명합니다.
- 「참 기울기가 −0.31 ~ 1.01 안에 있을 확률이 95%」: 엄밀히는 아닙니다. 95% 는 방법의 성적입니다. 같은 방법으로 자료를 여러 번 뽑아 구간을 만들면 그 가운데 약 95% 가 참 기울기를 품습니다. 이번 구간 하나는 품었거나 못 품었거나 둘 중 하나입니다(신뢰구간).
신뢰 띠와 예측 띠
직선 둘레에도 두 가지 띠를 그릴 수 있습니다. 묻는 것이 다릅니다.
신뢰 띠 = 예측값 ± t* × s × √(1/n + (x − x̄)² ÷ Σ(x − x̄)²)예측 띠 = 예측값 ± t* × s × √(1 + 1/n + (x − x̄)² ÷ Σ(x − x̄)²)
신뢰 띠(confidence band)는 「나이가 x 인 사람들의 평균 혈압」이 있을 만한 범위입니다. 점이 많아지면 점점 좁아집니다. 예측 띠(prediction band)는 「나이가 x 인 새 한 사람의 혈압」이 있을 만한 범위입니다. 한 사람마다의 분산(근호 안의 1)이 더해져 늘 더 넓고, 점이 아무리 많아도 그 분산보다 좁아지지 않습니다. 손 예제의 50 세라면 신뢰 띠는 120.7 ~ 139.3, 예측 띠는 107.3 ~ 152.7 입니다. 두 띠 모두 x̄ 에서 가장 좁고 멀어질수록 넓어집니다. 신뢰 띠의 폭은 30 세에서 32.1, 50 세에서 18.6, 80 세에서 43.5 입니다. 「신뢰 띠 안에 사람들 대부분이 들어간다」고 읽으면 틀립니다. 한 사람을 말할 때는 예측 띠를 봅니다.
6. r 이 못 보는 것: 먼저 그림을 그린다
요약 숫자가 같아도 자료는 전혀 다를 수 있습니다. 통계학자 앤스컴(Anscombe)은 1973년 논문에서 평균, 분산, 상관, 회귀 직선이 같은데 그림은 전혀 다른 네 자료를 보이며, 숫자만 볼 것이 아니라 그림을 함께 보아야 한다고 했습니다. 아래는 같은 생각으로 이 쪽이 새로 지어낸 네 자료입니다. 배양 시간(시간)과 세포 수(만 개)를 열 번씩 잰 지어낸 실험입니다.
| 자료 | x̄ | ȳ | s_x | s_y | r | 회귀 직선 | 스피어만 |
|---|---|---|---|---|---|---|---|
| A 곧은 구름 | 6.00 | 7.00 | 3.16 | 1.98 | 0.80 | y = 4.00 + 0.50x | 0.73 |
| B 휘어진 곡선 | 6.00 | 7.00 | 3.16 | 1.98 | 0.80 | y = 4.00 + 0.50x | 0.71 |
| C 이상치 하나 | 6.00 | 7.00 | 3.16 | 1.98 | 0.80 | y = 4.00 + 0.50x | 0.96 |
| D 한 점이 만든 직선 | 6.00 | 7.00 | 3.16 | 1.98 | 0.80 | y = 4.00 + 0.50x | 0.52 |
단추로 보기를 바꿉니다. 「네 자료」는 네 자료를 같은 눈금에 그리고, 초록 직선은 각자의 회귀 직선입니다(자료 범위 밖은 점선). 「잔차 그림」은 같은 자료에서 점마다 직선과의 차이를 그립니다. 「U 자 곡선」은 온도와 효소 활동을 지어낸 자료입니다. 폰처럼 좁은 화면에서는 네 그림이 한 줄씩 쌓입니다.
- A 곧은 구름. 점들이 직선 둘레에 고르게 흩어져 있습니다. 직선과 r 이 자료를 잘 요약하는 경우입니다.
- B 휘어진 곡선. 세포 수가 늘다가 꺾여 줄어듭니다. 관계는 뚜렷한데 직선이 아닙니다. 직선 대신 곡선을 맞춰야 합니다.
- C 이상치 하나. 나머지 아홉 점은 거의 완전한 직선(r 0.999, 기울기 0.39)인데, 8.5 시간의 한 점이 직선을 끌어올려 기울기를 0.5 로 키우고 r 을 0.8 로 낮췄습니다. 그 점이 잘못 잰 값인지 먼저 확인합니다.
- D 한 점이 만든 직선. 아홉 번은 5 시간에, 한 번만 15 시간에 쟀습니다. 그 한 점을 빼면 x 가 모두 같아 기울기를 정할 수조차 없습니다. 직선은 사실상 그 한 점이 정했습니다.
해 볼 것. ① 「네 자료」: 표처럼 네 자료 모두 r = 0.8, 직선 y = 4 + 0.5x, 기울기의 p = 0.006 입니다. ② 「잔차 그림」: A 만 0 둘레에 아무 모양 없이 흩어져 있습니다. B 는 활 모양, C 는 한 점의 잔차가 3.25 로 홀로 크고, D 는 15 시간 점의 잔차가 꼭 0 입니다. ③ 「U 자 곡선」: r = 0, 직선의 기울기 0, 스피어만 0.04 입니다. 숫자는 「관계 없음」인데 그림은 뚜렷한 산 모양입니다.
가정과 잔차 그림 보는 법
잔차 그림은 가로에 x(또는 예측값), 세로에 잔차(실제 y − 직선의 y)를 찍은 그림입니다. 좋은 잔차 그림은 0 을 가운데로 한 띠 안에 아무 모양 없이 흩어져 있습니다. 5장의 신뢰구간과 p값은 아래 가정을 깔고 셉니다. 어긋나면 숫자를 믿기 어렵습니다.
| 가정 | 잔차 그림에서 어긋난 모습 | 어긋나면 |
|---|---|---|
| 관계가 곧다 | 활이나 U 모양(B) | 곡선을 맞추거나 값을 바꿔(로그 등) 다시 본다 |
| 점끼리 서로 독립이다 | 시간 순으로 이으면 물결이 진다. 한 사람이 여러 번 들어 있다 | 같은 사람을 여러 번 잰 자료는 그에 맞는 방법을 쓴다(반복 측정) |
| 등분산성 | 한쪽으로 갈수록 나팔처럼 벌어진다 | 표준오차와 p 가 틀린다. 값을 바꾸거나 분산을 고려하는 방법을 쓴다 |
| 잔차가 대략 정규분포 | 한쪽으로 긴 꼬리, 멀리 튄 점 | 점이 적을 때 특히 중요하다. 점이 많으면 덜 민감하다 |
| 한두 점이 결과를 정하지 않는다 | 한 점만 멀리 튐(C), 혼자 떨어진 x(D) | 그 점을 빼고 다시 돌려 결론이 바뀌는지 본다. 이유 없이 지우지는 않는다 |
r = 0 은 「관계가 없다」가 아닙니다. 「U 자 곡선」의 효소 활동은 가운데 온도에서 가장 높고 양쪽으로 떨어지는 뚜렷한 관계인데 r 은 0 입니다. 왼쪽 절반의 오르막과 오른쪽 절반의 내리막이 서로 지워지기 때문입니다. r 은 곧은 관계만 잽니다.
7. 자료 범위 밖으로 넓히지 않는다
직선은 자료가 있는 범위에서만 확인된 것입니다. 손 예제의 직선 112.5 + 0.35 × 나이 에 0 세를 넣으면 112.5, 200 세를 넣으면 182.5 가 나오지만 둘 다 뜻이 없습니다. 자료에는 30 ~ 70 세뿐입니다. 범위 밖에서는 관계가 휘거나 멈출 수 있고(B 의 직선을 15 시간으로 넓히면 11.5 를 예측하지만 곡선은 이미 내려가는 중입니다), 띠도 x̄ 에서 멀어질수록 넓어집니다. 실험 ① 과 ② 에서 직선이 자료 범위 밖에서 점선인 까닭입니다. 범위 밖을 알고 싶으면 그 범위에서 자료를 더 모읍니다.
8. 순위 상관(스피어만): 값 대신 순위로
스피어만 순위 상관은 값을 작은 것부터 1, 2, 3… 순위로 바꾼 뒤 r 을 구한 것입니다. 같은 값은 순위를 나눠 갖습니다(3위와 4위가 같으면 둘 다 3.5). 그래서 「곧은가」가 아니라 「한쪽이 오를 때 다른 쪽도 늘 오르나(또는 늘 내려가나)」를 잽니다.
손 예제는 나이 순위가 1, 2, 3, 4, 5, 혈압 순위가 1, 4, 3, 2, 5 입니다. 순위의 차이 0, −2, 0, 2, 0 의 제곱의 합이 8 이고, 같은 값이 없을 때 쓰는 식 1 − 6 × Σ차이² ÷ (n × (n² − 1)) = 1 − 48 ÷ 120 = 0.6 입니다. 피어슨 r 은 0.7 이었습니다.
- 휘었지만 한 방향인 관계. 곡선이라도 오르기만 하면 스피어만은 1 입니다(예: x = 1, 2, 3, 4 와 y = 1, 8, 27, 64).
- 이상치가 있을 때. C 에서 피어슨은 0.80, 스피어만은 0.96 입니다. 순위로 바꾸면 튄 값 11.5 도 「가장 큰 값」(10위)일 뿐이라 멀리 튀지 않습니다.
- 순서만 있는 값. 통증 1 ~ 5 단계처럼 칸 사이가 같은 간격이라고 말하기 어려운 값입니다.
오르다 내리는 관계(U 자)는 순위 상관도 못 봅니다(0.04). 순위로 하는 다른 검정은 비모수 검정 쪽에서 봅니다.
9. 평균으로의 회귀
z 점수 눈금에서 회귀 직선의 기울기는 r 입니다(식이 만들어지는 과정 ⑥). r 이 1 보다 작으니, 한 검사에서 평균보다 2 표준편차 높았던 사람은 다른 검사에서 평균보다 2 × r 표준편차만큼만 높게 예측됩니다. r = 0.6 이면 1.2 입니다. 극단이었던 사람이 다음에는 평균 쪽에 더 가깝게 나오는 일을 평균으로의 회귀라고 합니다. 골턴(Galton)은 1886년 논문에서 부모와 자녀의 키를 비교하며 이 현상을 「평범함으로의 회귀」라고 불렀고, 통계의 「회귀」라는 이름이 여기서 왔습니다.
지어낸 200명이 같은 검사를 두 번 본 점수입니다. 점수 = 참 실력(평균 50, 표준편차 8) + 볼 때마다 새로 뽑는 흔들림(표준편차 6). 두 점수의 상관은 이론상 64 ÷ (64 + 36) = 0.64 이고, 이 지어낸 표본에서는 0.6 입니다(고정 시드). 주황 점이 고른 집단입니다. 「2차에서 높았던 사람」에서는 2차로 1차를 예측한 보라 직선도 그립니다.
해 볼 것. ① 처음(1차 상위 10%, 20명): 1차 평균 67.5 → 2차 평균 60.9. 아무것도 하지 않았는데 6.6 내려왔고, 회귀 직선의 예측(60.8)과 거의 같습니다. ② 「1차에서 낮았던 사람」: 34.4 → 41.4, 7 올라왔습니다. ③ 「2차에서 높았던 사람」: 2차 평균 67.4, 같은 사람들의 1차 평균 61.9. 시간을 거꾸로 보아도 평균 쪽으로 돌아옵니다. ④ 「1차에서 높았던 사람」을 5% 로 줄이면 70.4 → 61.5(8.9 내려옴), 30% 로 넓히면 61.8 → 57.1(4.7 내려옴). 극단을 고를수록 많이 돌아옵니다.
왜 그런가. 1차에서 아주 높게 나온 사람 가운데에는 실력도 높지만 그날 흔들림이 위로 간 사람이 많습니다. 2차에서는 흔들림을 새로 뽑으니, 실력은 그대로 남고 운은 평균 쪽으로 돌아갑니다. 거꾸로 2차에서 높았던 사람을 골라도 똑같습니다. 원인이 시간의 흐름이 아니라 고른 방법에 있기 때문입니다.
효과로 착각하기 쉽다. 1차 측정에서 혈압이 높게 나온 사람만 모아 무언가를 하고 다시 재면, 그것이 아무 일도 하지 않았어도 평균이 내려옵니다. 그래서 같은 기준으로 고른 사람들을 무작위로 나눠 한쪽은 하고 한쪽은 하지 않은 뒤(대조군), 두 집단의 변화를 비교합니다. 둘 다 같은 만큼 평균으로 돌아오므로, 차이만 남습니다(임상시험 설계).
10. 상관은 원인이 아니다
아래는 세 나이대(30대, 50대, 70대) 60명의 흰머리 비율과 수축기 혈압을 지어낸 자료입니다. 나이가 많을수록 둘 다 높게 지어냈고, 같은 나이대 안에서는 둘이 아무 관계 없게 만들었습니다.
해 볼 것. ① 처음에는 60명 전체로 r = 0.82, 기울기 0.55, p < 0.001 입니다. 흰머리가 혈압을 올리는 것처럼 보입니다. ② 「나이대별로 나눠 보기」를 누르면 30대, 50대, 70대 모두 집단 안의 r 이 0 입니다. 전체의 상관은 나이가 흰머리와 혈압을 같이 올려서 생긴 것입니다.
이렇게 둘 다에 영향을 주어 가짜 관계를 만드는 숨은 값을 교란 변수라고 합니다(교란과 편향). 두 값 사이에 상관이 생기는 길은 여럿입니다.
- x 가 y 를 바꾼다(원인).
- y 가 x 를 바꾼다(원인이 거꾸로).
- 숨은 제3의 값이 둘을 같이 바꾼다(교란). 위의 나이가 이것입니다.
- 우연. 점이 적거나 많은 쌍을 비교하면 생깁니다(다중 비교).
- 고른 방법. 특정한 사람만 모으면 없던 상관이 생기거나 있던 상관이 사라집니다.
원인을 알아보는 가장 곧은 길은 무작위 배정 실험입니다. 동전 던지듯 나누면 숨은 값이 두 집단에 고르게 퍼집니다. 관찰한 자료에서는 숨은 값을 재서 함께 넣는 다중 회귀(11장) 등을 쓰지만, 재지 않은 숨은 값까지 막지는 못합니다.
11. 변수를 여럿 넣는 다중 회귀
x 가 여럿이면 y ≈ a + b₁ × x₁ + b₂ × x₂ + … 로 예측합니다. 이것이 다중 회귀이고, 숫자를 고르는 방법은 같은 최소제곱입니다. 여기서 b₁ 은 「다른 x 들을 같은 값으로 고정했을 때, x₁ 이 1 늘면 y 의 평균이 얼마나 바뀌나」로 읽습니다. 10장의 자료에 나이대를 함께 넣으면 흰머리의 기울기는 0 이 됩니다. 같은 나이대끼리 비교한 기울기만 남기 때문입니다. 다만 「고정했을 때」는 계산상의 뜻입니다. 넣지 않은 값은 고정되지 않고, x 들끼리 상관이 크면 기울기가 크게 흔들리며, 고정하려는 조합의 사람이 자료에 실제로 있어야 뜻이 있습니다. 변수를 너무 많이 넣으면 자료에만 맞는 모델이 되기도 합니다(과적합).
결과가 예/아니오일 때. 「병이 있다/없다」처럼 결과가 둘 중 하나면 직선은 0 아래나 1 위의 엉뚱한 값을 냅니다. 그때는 확률을 S 자 곡선으로 예측하는 로지스틱 회귀를 쓰고, 그 결과는 흔히 오즈비로 적습니다. 결과가 「사건이 일어나기까지의 시간」이면 생존 분석을 씁니다.
어디에 쓰나
- 두 측정값의 관계를 처음 볼 때. 산점도를 먼저 그리고, 곧은 관계로 보이면 r 과 회귀 직선, 기울기의 신뢰구간을 함께 적습니다.
- 검량선(표준 곡선). 실험실에서 농도를 아는 표준 시료를 재어 측정값과 농도의 직선을 맞추고, 모르는 시료의 측정값으로 농도를 예측합니다. 표준 시료의 범위 밖은 예측하지 않습니다(7장).
- 두 측정법이 일치하는지는 r 로 보지 않습니다. 늘 10 만큼 높게 나오는 기계도 r = 1 입니다. r 은 같이 움직이는지만 보고, 같은 값을 내는지는 보지 않습니다. 일치는 두 값의 차이를 따로 봅니다.
- 예측 모델의 출발점. 선형 회귀는 머신러닝에서 가장 단순한 예측 모델이고, 더 복잡한 모델을 비교하는 기준으로도 씁니다.
# 파이썬 표준 라이브러리만으로 손 예제 풀기(3.12 이상)
import statistics as st
age = [30, 40, 50, 60, 70]
bp = [120, 134, 128, 127, 141]
st.correlation(age, bp) # 0.7: 피어슨 r
st.correlation(age, bp, method="ranked") # 0.6: 스피어만
st.linear_regression(age, bp) # 기울기 0.35, 절편 112.5
기울기의 표준오차와 p값까지 한 번에 받으려면 SciPy 의 scipy.stats.linregress 를 씁니다.
자주 묻는 것
상관계수 r 이 0 이면 두 값은 관계가 없나요?
곧은(직선) 관계가 없다는 뜻입니다. 산 모양이나 U 자처럼 휘어진 관계는 r 이 0 에 가까워도 뚜렷할 수 있습니다. 그래서 숫자보다 산점도를 먼저 그립니다.
r 이 얼마면 강한 상관인가요?
모두가 따르는 기준은 없습니다. 약함·중간·강함의 경계는 분야마다 다른 약속이고, 책마다 숫자도 다릅니다. r² 으로 직선이 설명하는 몫을 함께 보고, 그 분야의 다른 연구와 비교해 읽습니다.
상관과 회귀는 무엇이 다른가요?
상관은 두 값이 같이 움직이는 정도를 단위 없는 숫자 하나로 나타내고, x 와 y 를 바꿔도 같습니다. 회귀는 한 값으로 다른 값을 예측하는 직선을 구합니다. 기울기에는 단위가 있고, x 와 y 를 바꾸면 다른 직선이 나옵니다.
p값이 작으면 상관이 강한 건가요?
아닙니다. p값은 점의 수에 크게 달려 있습니다. 1,000 명이면 r = 0.1 처럼 약한 상관도 p ≈ 0.002 로 작게 나오고, 10 명이면 r = 0.6 이어도 p ≈ 0.07 입니다. 관계의 크기는 r, r², 기울기와 그 신뢰구간으로 읽습니다.
상관이 있으면 한쪽이 다른 쪽의 원인인가요?
그렇게 말할 수 없습니다. 숨은 제3의 값이 둘을 같이 움직이거나, 원인이 거꾸로이거나, 우연일 수 있습니다. 원인을 알아보는 가장 곧은 길은 무작위로 나눈 실험입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 두 값을 점으로 찍은 그림 | 산점도(scatter plot) |
| 같이 움직이는 정도(단위가 있다) | 공분산(covariance) |
| 같이 움직이는 정도(−1 ~ 1) | 피어슨 상관계수(Pearson correlation coefficient), r |
| 직선이 설명하는 분산의 몫 | 결정계수(coefficient of determination), r² 또는 R² |
| 순위로 구한 상관 | 스피어만 순위 상관계수(Spearman's rank correlation), ρ(로) |
| 한 값으로 다른 값을 예측하는 직선 | 회귀 직선(regression line), 단순 선형 회귀(simple linear regression) |
| 기울기 / 절편 | 회귀계수(slope, regression coefficient) / 절편(intercept) |
| 예측하려는 값 / 예측에 쓰는 값 | 반응 변수, 종속 변수(response, dependent variable) / 설명 변수, 독립 변수(predictor, explanatory variable) |
| 실제 − 직선의 예측 | 잔차(residual) |
| 기울기가 뽑을 때마다 흔들리는 정도 | 표준오차(standard error, SE) |
| n − 2 | 자유도(degrees of freedom, df) |
| 평균이 있을 만한 띠 / 새 한 사람이 있을 만한 띠 | 신뢰 띠(confidence band) / 예측 띠, 예측 구간(prediction band, prediction interval) |
| 잔차를 찍은 그림 | 잔차 그림(residual plot) |
| 퍼짐이 고르다 | 등분산성(homoscedasticity) |
| 튀는 점 / 혼자 떨어져 직선을 정하는 점 | 이상치(outlier) / 지렛대가 큰 점(high-leverage point), 영향점(influential point) |
| 범위 밖으로 넓히기 | 외삽(extrapolation) |
| 평균으로 돌아가기 | 평균으로의 회귀(regression to the mean) |
| 숨은 제3의 값 | 교란 변수(confounder, confounding variable) |
| 변수를 여럿 넣는 회귀 / 다른 것을 고정했을 때의 기울기 | 다중 회귀(multiple regression) / 편회귀계수(partial regression coefficient) |
출처
- F. J. Anscombe, Graphs in Statistical Analysis, The American Statistician 27(1), 17–21 (1973). 요약 숫자가 같은 네 자료. 이 쪽의 네 자료는 같은 생각으로 새로 지어낸 것이다.
- Francis Galton, Regression Towards Mediocrity in Hereditary Stature, The Journal of the Anthropological Institute of Great Britain and Ireland 15 (1886). 평균으로의 회귀.
- NIST/SEMATECH e-Handbook of Statistical Methods: 1.3.3.26 Scatter Plot, 4.4.4 How can I tell if a model fits my data?(잔차 그림).
- 파이썬 statistics 모듈 문서(correlation, linear_regression).
- SciPy scipy.stats.linregress 문서.