교란과 편향: 비교가 불공정해지는 까닭
가벼운 환자끼리 비교해도, 무거운 환자끼리 비교해도 치료 A 가 낫습니다. 그런데 모두 합쳐 보면 B 가 낫습니다. 어느 쪽이 맞을까요? 무엇이 비교를 뒤틀었는지 사람 격자, 화살표 그림, 점 구름을 움직이며 봅니다. 이 쪽의 자료는 모두 지어낸 것이고, 통계 개념만 설명합니다. 의학적 조언이 아닙니다.
한 줄 답. 교란은 「원인으로 보는 것」과 「결과」 양쪽에 모두 영향을 주는 셋째 요인 때문에, 둘 사이에 실제로는 없는(또는 크기가 다른) 관계가 보이는 것입니다. 편향은 자료를 모으거나 재는 방식 때문에 답이 한쪽으로 치우치는 것입니다. 둘 다 사람을 더 모아도 사라지지 않습니다. 교란은 설계(무작위 배정)나 분석(층으로 나눠 보정)으로 다루고, 편향은 자료가 어떻게 모였고 어떻게 쟀는지를 따져야 보입니다.
동그라미는 가벼운 환자, 네모는 무거운 환자입니다. 속이 찬 것이 회복한 사람, 빈 것이 회복하지 못한 사람입니다. 초록이 치료 A, 파랑이 치료 B 를 받은 100명씩입니다. 「나눠 보기」는 병의 심한 정도로 나눈 것, 「합쳐 보기」는 한데 모은 것입니다. 막대와 숫자 칸으로 치료마다 무거운 환자의 비율을 10% 단위로 바꿀 수 있습니다. 층마다의 회복률(가벼운 환자 A 90%·B 80%, 무거운 환자 A 50%·B 30%)은 고정입니다. 모두 지어낸 숫자입니다.
1. 교란: 셋째 요인이 비교를 뒤튼다
두 집단을 비교할 때 알고 싶은 것은 「치료가 결과를 바꾸는가」입니다. 그런데 두 집단이 치료 말고도 다른 점에서 처음부터 다르면, 결과의 차이에 그 다른 점이 섞여 들어옵니다. 이것이 교란입니다. 섞여 드는 요인을 교란 요인이라고 부릅니다.
위 실험에서는 병의 심한 정도가 교란 요인입니다. 지어낸 이야기는 이렇습니다. 의사가 무거운 환자에게 치료 A 를 더 자주 골랐습니다. 무거운 환자는 어느 치료를 받든 회복이 더딥니다. 그래서 A 집단에 회복이 더딘 사람이 많이 들어가, A 의 합친 회복률이 끌려 내려갔습니다.
왜 합치면 뒤집힐까요? 합친 회복률은 층마다의 회복률을 그 치료를 받은 사람의 구성으로 평균 낸 것입니다.
A: 0.2 × 90% + 0.8 × 50% = 18% + 40% = 58%B: 0.8 × 80% + 0.2 × 30% = 64% + 6% = 70%
A 는 회복률이 낮은 층(무거운 환자)에 0.8 의 무게를 주고, B 는 0.2 의 무게를 줬습니다. 두 치료가 서로 다른 무게로 평균을 냈으니, 합친 숫자의 차이에는 치료의 차이와 환자 구성의 차이가 섞여 있습니다. 두 치료에 같은 무게를 주면 섞인 것이 빠집니다. 그것이 2절의 보정입니다.
교란 요인의 세 조건
오래 써 온 어림 규칙은 세 가지를 봅니다.
- 원인과 관련이 있다. 집단에 따라 그 요인의 분포가 다르다. 위 실험에서 무거운 환자는 A 에 80명, B 에 20명이다.
- 결과에 영향을 준다. 치료와 상관없이 그 요인이 결과를 바꾼다. 무거운 환자는 어느 치료든 회복률이 낮다.
- 원인과 결과 사이의 길 위에 있지 않다. 치료 때문에 생긴 것이 아니다. 병의 심한 정도는 치료를 받기 전에 정해져 있었다. 치료가 바꾼 것(예: 치료 뒤의 검사 수치)이라면 교란 요인이 아니라 매개 요인이다(5절).
이 세 조건은 어림 규칙입니다. 화살표 그림(4절)으로 따져 보면, 세 조건을 모두 맞추는데도 보정하면 오히려 치우치는 경우가 있습니다(Hernán · Robins 의 책 7.4절). 헷갈리면 「무엇이 무엇을 바꾸나」를 그림으로 그려 봅니다.
해 볼 것. ① 처음(A 80%, B 20%)에는 가벼운 환자끼리 A 90%·B 80%, 무거운 환자끼리 A 50%·B 30% 로 두 층 모두 A 가 높은데, 합치면 A 58%·B 70% 로 B 가 12%p 높습니다. 「합쳐 보기」를 눌러 보세요. A 의 속이 찬 사람(회복)에는 네모(무거운 환자)가 많고, B 에는 동그라미가 많습니다. ② 두 비율을 모두 50% 로 맞추면 A 70%·B 55% 로 A 가 15%p 높고, 보정한 차이도 +15%p 로 같습니다. 환자 구성이 같으면 교란이 없습니다. ③ A 50%, B 20% 로 두면 70% 대 70% 로 차이가 사라집니다. ④ A 50%, B 30% 면 A 가 5%p 높아 방향은 맞지만, 보정한 차이는 +14%p 입니다. 뒤집히지 않아도 교란은 크기를 틀리게 만듭니다. 이 숫자들에서 A 의 합친 회복률은 90% − 40% × (A 의 무거운 환자 비율), B 는 80% − 50% × (B 의 비율) 이라서, 0.4 × (A 의 비율) − 0.5 × (B 의 비율) 이 0.1 을 넘을 때 뒤집힙니다.
2. 식이 만들어지는 과정: 보정한 차이
섞인 것을 빼는 가장 단순한 방법은 층으로 나눠 비교한 뒤, 같은 무게로 다시 모으는 것입니다. 이것을 층화와 표준화라고 부릅니다(정규화 쪽의 z 점수 표준화와는 다른 뜻입니다). 식의 기호는 이렇습니다. p_A 는 A 집단의 회복률, p_A,k 는 층 k 안에서 A 의 회복률, nₖ 는 층 k 의 사람 수(두 치료 합), N 은 모든 사람 수, Σₖ 는 층마다 구해 모두 더한다는 뜻입니다. 그림은 위 실험과 같은 자료를 씁니다. 위 실험에서 비율을 바꾸면 이 그림의 숫자도 바뀝니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 초록이 A, 파랑이 B, 주황이 차이입니다.
- 단순 차이:
d = p_A − p_B. 모두 합쳐 비교합니다. 58% − 70% = −12%p. B 가 나아 보입니다. - 층으로 나누기:
p_A,k,p_B,k. 교란 요인(병의 심한 정도)의 수준마다 표를 나눕니다. 까닭: 한 층 안에서는 교란 요인이 같아서, 그 요인이 두 치료의 차이를 만들 수 없습니다. - 층마다 차이:
p_A,k − p_B,k. 가벼운 환자 90% − 80% = +10%p, 무거운 환자 50% − 30% = +20%p. 두 층 모두 A 가 낫습니다. - 같은 무게로 평균:
Σₖ wₖ × (p_A,k − p_B,k),wₖ = nₖ ÷ N. 차이가 층마다 하나씩이라 하나로 모아야 합니다. 무게는 그 층의 사람 수 ÷ 모든 사람 = 100 ÷ 200 = 0.5 씩입니다. 까닭: 두 치료에 같은 무게를 줘야 환자 구성의 차이가 다시 끼어들지 않습니다. 0.5 × 10 + 0.5 × 20 = +15%p. - 완성과 틈:
d_보정 = Σₖ wₖ × (p_A,k − p_B,k). 보정한 차이 +15%p 와 단순 차이 −12%p 의 틈 −27%p 가 교란의 몫입니다.
같은 식을 치료마다 따로 쓰면 「두 치료가 같은 환자 구성이었다면 나왔을 회복률」이 됩니다. A 는 0.5 × 90% + 0.5 × 50% = 70%, B 는 0.5 × 80% + 0.5 × 30% = 55%, 그 차이는 15%p 로 같습니다. 무게를 모든 사람의 구성으로 주었으니, 병의 심한 정도가 유일한 교란 요인이라면 이것은 「모두가 A 를 받았을 때와 모두가 B 를 받았을 때의 차이」를 추정한 값입니다(Hernán · Robins 의 책 2.3절).
층마다 차이가 다르면(여기서는 10 과 20) 무게를 어느 집단의 구성으로 주느냐에 따라 보정한 값이 조금 달라집니다. 층마다 효과가 다른 것(효과 수정) 자체도 알아 둘 정보라서, 보정한 숫자 하나와 함께 층마다의 숫자도 같이 적습니다.
해 볼 것. ① 「다음」을 네 번 누르면 단순 차이 −12%p, 층마다 +10%p 와 +20%p, 무게 0.5 와 0.5, 보정한 차이 +15%p, 틈 −27%p 가 차례로 나옵니다. ② 맨 위 실험에서 A 를 90%, B 를 10% 로 바꾸고 ⑤ 단계를 보면 단순 차이 −21%p, 보정한 차이 +15%p, 틈 −36%p 입니다. ③ 두 비율을 모두 50% 로 같게 하면 단순 차이와 보정한 차이가 모두 +15%p 이고 틈이 없습니다(주황 화살표가 사라집니다). ④ A 60%, B 20% 면 무게가 0.6 과 0.4 로 바뀌어 보정한 차이가 +14%p, 단순 차이는 −4%p 입니다.
3. 손으로 풀어 보기: 심슨의 역설 표
맨 위 실험의 처음 숫자를 표로 적고 끝까지 셉니다.
| 층 | 치료 | 사람 | 회복 | 회복률 |
|---|---|---|---|---|
| 가벼운 환자 | A | 20 | 18 | 90% |
| B | 80 | 64 | 80% | |
| 무거운 환자 | A | 80 | 40 | 50% |
| B | 20 | 6 | 30% | |
| 합침 | A | 100 | 58 | 58% |
| B | 100 | 70 | 70% |
- 합친 회복률. A = 58 ÷ 100 = 58%, B = 70 ÷ 100 = 70%. 단순 차이 = 58% − 70% = −12%p.
- 층마다 회복률. 가벼운 환자 A = 18 ÷ 20 = 90%, B = 64 ÷ 80 = 80%. 무거운 환자 A = 40 ÷ 80 = 50%, B = 6 ÷ 20 = 30%.
- 층마다 차이. 가벼운 환자 90 − 80 = +10%p, 무거운 환자 50 − 30 = +20%p. 두 층 모두 A 가 낫습니다.
- 무게. 가벼운 환자 20 + 80 = 100명, 무거운 환자 80 + 20 = 100명, 모두 200명. w = 100 ÷ 200 = 0.5, 0.5.
- 보정한 차이. 0.5 × 10 + 0.5 × 20 = 5 + 10 = +15%p.
- 틈. −12 − 15 = −27%p. 이만큼이 병의 심한 정도가 섞여 생긴 몫입니다.
이 표의 숫자만으로는 「나눠 본 쪽이 맞다」고 정할 수 없습니다. 병의 심한 정도가 치료보다 먼저 정해졌고, 치료 선택과 회복 양쪽에 영향을 줬다는 지식(자료 밖의 정보)이 있어야 나눠 본 쪽을 고릅니다. 같은 숫자라도 나눈 기준이 치료 뒤에 생긴 것이면 합쳐 본 쪽이 맞을 수 있습니다(4절의 매개).
4. 화살표 그림으로 생각하기: 교란, 매개, 충돌
「무엇이 무엇을 바꾸나」를 동그라미와 화살표로 그린 것을 인과 그림이라고 합니다. Judea Pearl 이 정리한 방법이고, 화살표를 따라가다 제자리로 돌아오는 고리가 없는 그래프라 DAG 라고도 부릅니다. 동그라미 셋을 잇는 모양은 세 가지이고, 셋째 요인으로 나눠 봐야 하는지가 모양마다 다릅니다.
위는 인과 그림, 아래는 그 그림대로 지어낸 240명의 점 구름입니다. 주황 선은 모두를 한데 넣고 그은 최소제곱 직선이고, 숫자는 그 기울기(X 가 1 늘 때 Y 가 평균 얼마나 느나)입니다. 나눠 보면 집단마다 색과 모양(빈 동그라미, 속이 찬 동그라미)이 갈리고 집단 안의 직선이 따로 그어집니다. 셋째 요인을 주황 네모로 두른 것은 「이 값으로 나눠 봤다」는 표시입니다. 축의 숫자는 단위 없는 지어낸 점수입니다.
| 모양 | 그림 | 셋째 요인으로 나누면 | 보정할까 |
|---|---|---|---|
| 교란(갈림) | Z → X, Z → Y | 뒷문 경로가 막혀 가짜 관계가 사라진다 | 한다 |
| 매개(사슬) | X → M → Y | 효과가 지나가는 길이 막혀 진짜 효과가 사라진다 | 「X 의 효과」를 물을 때는 하지 않는다 |
| 충돌(모임) | X → C ← Y | 막혀 있던 길이 열려 없던 관계가 생긴다 | 하지 않는다 |
「길」로 생각하면 쉽습니다. X 와 Y 를 잇는 길 가운데 X 로 들어오는 화살표로 시작하는 길(X ← Z → Y)을 뒷문 경로(backdoor path)라고 부릅니다. 뒷문 경로가 열려 있으면 X 와 Y 가 서로 영향을 주지 않아도 같이 움직입니다. 교란 요인으로 나누면 이 길이 막힙니다. 거꾸로 충돌 요인 C 는 화살표 둘이 부딪히는 곳이라, 그대로 두면 길이 막혀 있고 C 로 나누거나 C 로 사람을 고르면 길이 열립니다.
집단 안의 기울기는 집단마다 평균을 뺀 뒤 한데 모아 잰 기울기입니다. 회귀식에 집단을 나타내는 0 · 1 변수를 같이 넣었을 때 X 의 계수와 같습니다. 그래서 「회귀로 보정한다」도 이 그림에서는 같은 일이고, 같은 함정에 빠집니다(상관과 회귀).
해 볼 것. ① 교란: 합친 기울기 0.68 이 Z 로 나누면 집단 안 기울기 −0.04(젊은 집단 −0.01, 나이 든 집단 −0.06)가 됩니다. 0 에 가까워졌습니다. ② 매개: 합친 기울기 0.69 가 M 으로 나누면 0.02 입니다. 약이 실제로 듣는데 나눠 보면 듣지 않는 것처럼 보입니다. ③ 충돌: 합친 기울기 −0.01 로 관계가 없는데, C 로 나누면 −0.3, 뽑힌 57명만 보면 −0.41 입니다. ④ 세 그림 모두 같은 「나눠 보기」 단추를 눌렀지만, 나눈 쪽이 맞는 것은 교란뿐입니다.
5. 보정하면 안 되는 것
- 매개 요인. 원인 때문에 생긴 것, 원인과 결과 사이의 길 위에 있는 것입니다. 약 → 콜레스테롤 → 혈관처럼 효과가 그것을 거쳐 간다면, 그것으로 보정하면 효과의 일부나 전부가 지워집니다. 「약이 듣나」를 물을 때는 보정하지 않습니다. 「콜레스테롤 말고 다른 길로도 듣나」를 따로 묻는 방법은 매개 분석이라고 부르고, 이 쪽에서는 다루지 않습니다.
- 충돌 요인. 원인과 결과(또는 그 원인들)가 함께 영향을 주는 것입니다. 입원, 연구 참가, 선수 선발처럼 「뽑혔나」가 흔한 예입니다. 그것으로 보정하거나 사람을 고르면 없던 관계가 생깁니다. 7절의 선택 편향이 바로 이것입니다.
- 결과 뒤에 생긴 것. 결과가 만든 값(예: 회복 뒤에 잰 수치)으로 보정하면 결과로 사람을 고르는 것과 비슷해져, 원인과 결과의 관계가 비뚤어집니다.
「변수를 많이 넣을수록 좋다」가 틀린 까닭
회귀에 잴 수 있는 변수를 모두 넣으면 안전해 보입니다. 그렇지 않습니다. ① 매개 요인을 넣으면 진짜 효과가 줄어들고, ② 충돌 요인을 넣으면 없던 관계가 생깁니다. ③ 원인에만 영향을 주고 결과와는 관계없는 변수를 넣으면 편향은 줄지 않고 추정만 덜 정밀해집니다. 무엇을 넣을지는 자료의 숫자가 아니라 「무엇이 무엇을 바꾸나」에 대한 지식으로 정합니다. 넣고 뺐을 때 숫자가 많이 바뀌는지만 보고 교란 요인을 고르는 방법도 같은 까닭으로 믿을 수 없습니다. 충돌 요인도 넣으면 숫자가 크게 바뀌기 때문입니다.
6. 교란을 다루는 방법
| 언제 | 방법 | 하는 일 | 한계 |
|---|---|---|---|
| 설계에서 | 무작위 배정 | 동전 던지기처럼 우연이 치료를 정한다. 잰 것이든 못 잰 것이든 두 집단의 구성이 평균적으로 같아진다(무작위 배정) | 한 번의 시험에서는 우연히 다를 수 있다. 해로운 노출처럼 배정할 수 없는 것이 많다 |
| 설계에서 | 제한 | 한 층만 모은다. 예: 가벼운 환자만 연구한다 | 다른 층에 대해서는 답하지 못한다 |
| 설계에서 | 짝짓기 | 교란 요인이 같은 사람끼리 짝지어 비교한다. 비슷한 것끼리 묶는 블록 설계와 같은 생각이다 | 짝지은 요인만 맞춰진다. 분석에서도 짝을 고려해야 할 때가 많다 |
| 분석에서 | 층화 | 층으로 나눠 비교하고 같은 무게로 모은다(2절) | 요인이 많으면 층이 잘게 쪼개져 사람이 없는 층이 생긴다 |
| 분석에서 | 회귀로 보정 | 교란 요인을 회귀식에 같이 넣는다(4절의 집단 안 기울기) | 식의 모양(직선 등)이 실제와 맞아야 한다 |
| 분석에서 | 성향 점수 | 잰 교란 요인들로 「이 사람이 치료를 받을 확률」을 계산해, 점수가 비슷한 사람끼리 비교하거나 그 확률로 무게를 준다 | 잰 요인만 다룬다 |
층화에는 숨은 조건이 하나 있습니다. 층마다 두 치료를 받은 사람이 모두 있어야 합니다. 무거운 환자가 모두 A 만 받았다면 그 층에서는 비교할 상대가 없어, 어떤 분석으로도 그 층의 차이를 알 수 없습니다.
못 잰 교란은 분석으로 못 고친다
층화, 회귀, 성향 점수는 모두 잰 요인만 다룹니다. 아무도 재지 않은 요인(생활 습관, 의사의 판단, 겉으로 안 드러난 병의 정도)이 교란을 일으키면, 아무리 정교하게 분석해도 그 몫은 남습니다. 잘못 잰 요인으로 보정해도 일부가 남습니다. 자료만 보고는 못 잰 교란이 있는지 알 수 없습니다. 그래서 관찰 연구의 결론에는 「잰 요인들로 보정했을 때」라는 조건이 붙고, 못 잰 요인까지 고르게 만드는 방법은 무작위 배정뿐입니다.
7. 편향: 모으고 재는 방식이 답을 기울인다
교란은 「누가 어떤 치료를 받았나」가 공정하지 않은 문제입니다. 그 밖에도 누가 자료에 들어왔나, 어떻게 쟀나 때문에 답이 기울 수 있습니다. 아래 실험은 왼쪽에 전체(실제로 있었던 것), 오른쪽에 우리가 보게 되는 것을 나란히 둡니다.
선택 편향: 점 하나가 한 사람이고, 가로·세로가 두 병의 점수(0~10)입니다. 왼쪽의 주황 점선 위쪽(두 점수의 합이 기준을 넘는 사람, 주황 점)만 병원에 옵니다. 생존자 편향: 막대는 진단 때 병의 심한 정도별 사람 수입니다. 초록이 10년 뒤 살아 있는 사람, 옅은 주황이 그사이 숨진 사람입니다. 기억 편향: 파랑이 노출이 있다고 적힌 사람, 주황이 실제로는 노출됐는데 잊어서 「없음」으로 적힌 사람입니다. 모두 지어낸 자료입니다.
| 편향 | 한 줄 뜻 | 예(지어낸 것) |
|---|---|---|
| 선택 편향 | 연구에 들어온 사람이 알고 싶은 집단과 달라 관계가 바뀐다 | 병원에 온 사람만 보면 서로 무관한 두 병이 반대로 엮여 보인다(버크슨 편향) |
| 생존자 편향 | 끝까지 남은 것만 보여 과거가 실제보다 좋아 보인다. 선택 편향의 한 갈래 | 지금 살아 있는 환자만 보면 병이 실제보다 가벼워 보인다 |
| 측정 · 정보 편향 | 재는 도구나 방식이 틀려 값이 어긋난다. 집단마다 다르게 틀리면 관계가 어느 쪽으로든 움직인다 | 한 집단만 낡은 혈압계로 재서 늘 5 mmHg 높게 나온다 |
| 기억 편향 | 측정 편향의 한 가지. 결과를 겪은 사람이 과거를 다르게 기억해 낸다 | 아픈 사람은 과거의 노출을 더 잘 떠올린다 |
| 출판 편향 | 「효과가 있다」고 나온 연구가 더 잘 실려, 실린 것만 모으면 효과가 커 보인다 | 같은 약을 시험한 연구 열 개 가운데 효과가 나온 셋만 실린다 |
선택 편향은 4절의 충돌과 같은 구조입니다. 「병원에 왔나」는 두 병이 함께 만든 결과(충돌 요인)이고, 병원 자료만 보는 것은 그 값으로 사람을 고르는 일입니다. Berkson 이 1946년 논문에서 병원 자료로 이 문제를 짚었습니다(출처).
기억 편향의 실험은 환자-대조군 연구입니다. 병이 생긴 환자와 생기지 않은 대조군을 모아 과거에 무엇에 노출됐는지 묻습니다. 결과는 오즈비로 적습니다. 환자 가운데 「노출 : 비노출」의 비를 대조군의 같은 비로 나눈 값이고, 1 이면 관계가 없다는 뜻입니다. 기록된 표의 오즈비는 (57 × 158) ÷ (143 × 42) = 9006 ÷ 6006 ≈ 1.5 입니다. 실제로는 관계가 없는데 대조군이 노출을 더 많이 잊어 관계가 있어 보입니다. 두 집단이 같은 비율로 잊으면(차별 없는 오분류) 이야기가 다릅니다. 실제 오즈비가 3 인 표(환자 노출 100·비노출 100, 대조군 50·150)에서 둘 다 30% 를 잊으면 오즈비가 2.54 로 줄어듭니다. 차별 없이 틀리면 대개 관계가 실제보다 약해 보이고, 집단마다 다르게 틀리면 어느 쪽으로든 갈 수 있습니다.
해 볼 것. ① 선택 편향: 전체 400명의 기울기는 −0.01 인데, 병원에 온 72명만 보면 −0.68 입니다. 기준을 8 로 내리면 322명이 오고 기울기는 −0.31, 4 로 내리면 398명이 와서 −0.02 입니다. 기준이 높아 적게 고를수록 가짜 관계가 강합니다. ② 생존자 편향: 진단 때 심한 정도의 평균은 전체 5.02 인데, 10년 뒤 살아 있는 233명만 보면 4.08 입니다. ③ 기억 편향: 처음(환자 5%, 대조군 30% 가 잊음)에는 오즈비 1.5 입니다. 두 비율을 같게 하면 1, 환자 0%·대조군 50% 면 2.43, 거꾸로 환자 30%·대조군 5% 면 0.67 로 노출이 오히려 병을 막아 주는 것처럼 보입니다.
8. 사람을 늘려도 안 고쳐진다
오차에는 두 가지가 있습니다. 우연 오차는 누가 뽑혔느냐에 따라 답이 위아래로 흔들리는 것이고, 사람을 늘리면 줄어듭니다. 계통 오차(편향)는 답이 한쪽으로 밀려 있는 것이고, 사람을 늘려도 그대로입니다. 아래는 같은 연구를 20번 했을 때의 95% 신뢰구간입니다. 지어낸 이야기: 약을 스스로 먹기로 고른 사람들은 원래 건강을 더 챙겨서, 약의 효과(2 mmHg)에 4 mmHg 가 더 얹혀 보입니다.
줄 하나가 연구 하나입니다. 점은 그 연구의 추정값(약을 먹은 집단과 안 먹은 집단이 혈압이 내려간 양의 차이), 가로선은 95% 신뢰구간입니다. 초록 점선이 진짜 효과 2 mmHg, 주황 점선이 치우친 가운데 6 mmHg 입니다. 진짜 효과를 품지 못한 구간은 주황으로 그립니다. 사람마다의 표준편차(10 mmHg)를 안다고 두고, 집단마다 n 명일 때의 표준오차 10 × √(2 ÷ n) 으로 평균 차이를 바로 뽑아 지어냅니다. 20개 연구는 고정 시드의 같은 우연을 쓰므로, 사람 수만 바꾸면 같은 연구가 좁아지는 모습이 보입니다.
해 볼 것. ① 관찰 연구, 집단마다 25명: 표준오차 2.83, 구간이 대략 ±5.54 로 넓어서 20개 가운데 16개가 진짜 효과 2 를 품습니다. ② 100명이면 5개, 400명부터는 0개입니다. 10,000명에서 구간은 ±0.28 로 좁지만 20개 추정값의 평균 5.98 은 6 에 붙어 있습니다. 정밀하게 틀린 답입니다. ③ 「무작위 배정」을 누르면 가운데가 2 로 옮겨 가고(10,000명에서 평균 1.98), 어느 사람 수에서나 20개 가운데 19개가 진짜 값을 품습니다.
신뢰구간을 이렇게 읽으면 틀린다
- 「구간이 좁으니 답이 맞다」: 틀립니다. 구간은 우연 오차만 담습니다. 편향이 있으면 좁은 구간이 엉뚱한 곳에 있습니다.
- 「이 구간 안에 진짜 값이 있을 확률이 95%」: 엄밀히는 틀립니다. 95% 는 같은 방법을 여러 번 되풀이할 때 구간들 가운데 진짜 값을 품는 몫이고, 그것도 편향이 없을 때의 이야기입니다. 위 그림에서 무작위 배정의 20개 가운데 19개가 그것입니다.
- 「p 값이 아주 작으니 효과가 확실하다」: 틀립니다. 사람이 많으면 작은 편향도 아주 작은 p 값을 냅니다(가설검정과 p값).
배정을 우연에 맡기는 방법은 무작위 배정과 대조군, 시험 전체에서 편향을 막는 장치(눈가림, 배정 숨기기, 분석 계획 미리 정하기)는 임상시험 설계 쪽에서 다룹니다.
9. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 사람을 늘려도 안 사라진다 | 교란과 편향은 계통 오차라서 n 을 키우면 구간만 좁아지고 가운데는 그대로다 | 8절, 10,000명 |
| 방향까지 뒤집을 수 있다 | 층마다 A 가 나아도 합치면 B 가 나아 보일 수 있다 | 1절 맨 위 실험 |
| 뒤집히지 않아도 크기를 바꾼다 | 단순 차이 +5%p 가 보정하면 +14%p 다 | 1절 해 볼 것 ④ |
| 무엇으로 보정할지는 숫자가 아니라 그림이 정한다 | 같은 「나눠 보기」가 교란에서는 맞고 매개·충돌에서는 틀리다 | 4절 |
| 잰 것만 보정된다 | 못 잰 교란은 어떤 분석으로도 지워지지 않는다. 고르게 만드는 것은 무작위 배정뿐이다 | 6절 |
10. 관찰 연구를 읽을 때 물어볼 것
- 누구를 비교했나? 무엇을 받은 사람과 받지 않은 사람인가. 누가 그것을 골랐나(본인, 의사, 우연).
- 두 집단은 처음에 어떻게 달랐나? 나이, 병의 심한 정도, 생활 습관을 비교한 표가 있나. 논문에서는 보통 첫 번째 표다.
- 무엇을 보정했나? 그 가운데 원인 뒤에 생긴 것(매개)이나 뽑힘·참가 같은 것(충돌)이 섞여 있지 않나.
- 무엇을 못 쟀나? 결과에 영향을 줄 만한데 자료에 없는 것은 무엇인가.
- 누가 자료에서 빠졌나? 병원에 온 사람만, 끝까지 남은 사람만, 답한 사람만 본 것은 아닌가.
- 어떻게 쟀나? 기록인가 기억인가. 두 집단을 같은 방식으로 쟀나.
- 이 연구 하나뿐인가? 다른 방식의 연구들도 같은 쪽을 가리키나. 실린 연구만 모은 것은 아닌가.
상관과 인과
두 값이 같이 움직인다(상관)는 것은 X 가 Y 를 바꾼다(인과)는 뜻이 아닙니다. 같이 움직이는 까닭은 아래 가운데 하나 이상입니다. X 가 Y 를 바꾼다. Y 가 X 를 바꾼다(거꾸로). 셋째 요인이 둘을 같이 바꾼다(교란). 자료를 모은 방식이 관계를 만들었다(선택 편향). 그리고 우연. 상관을 재는 법과 회귀는 상관과 회귀 쪽에 있습니다.
어디에 쓰나
- 관찰 연구와 기사 읽기. 「무엇을 먹는 사람이 무슨 병이 적다」 같은 숫자가 교란이나 선택 때문에 생겼을 수 있는지 10절의 물음으로 따져 봅니다.
- 임상시험 설계. 무작위 배정, 블록, 눈가림으로 교란과 편향을 처음부터 막습니다(임상시험 설계, 블록 설계).
- 쌓인 진료 기록으로 치료 비교하기. 층화, 회귀, 성향 점수로 보정하고, 못 잰 교란의 한계를 같이 적습니다.
- 제품의 A/B 시험. 사용자를 무작위로 나누면 교란이 없지만, 「새 기능을 켠 사람」과 「안 켠 사람」을 그냥 비교하면 원래 열심인 사용자가 한쪽에 몰려 교란이 생깁니다.
- 머신러닝의 학습 자료. 자료가 어떻게 모였는지(누가 빠졌나)에 따라 모델이 배운 관계가 기웁니다. 예측에 도움이 되는 상관도 「이것을 바꾸면 결과가 바뀌나」에는 답하지 않습니다.
자주 묻는 것
교란과 편향은 무엇이 다른가요?
교란은 비교하는 집단이 원인 말고도 다른 점에서 처음부터 달라, 그 차이가 결과에 섞여 드는 것입니다. 편향은 더 넓은 말로, 자료를 모으거나 재는 방식 때문에 답이 한쪽으로 치우치는 것을 모두 가리킵니다. 교란을 편향의 한 종류(교란 편향)로 묶어 부르는 책도 많습니다. 둘 다 사람을 늘려도 사라지지 않습니다.
사람을 많이 모으면 교란이 없어지나요?
아닙니다. 사람을 늘리면 우연에 의한 흔들림만 줄어듭니다. 두 집단의 구성이 처음부터 다른 문제는 그대로라서, 신뢰구간이 좁아진 채로 틀린 값에 머뭅니다. 교란은 무작위 배정 같은 설계나, 잰 요인으로 보정하는 분석으로 다룹니다.
잴 수 있는 변수를 모두 넣고 보정하면 안전하지 않나요?
아닙니다. 원인 때문에 생긴 매개 요인으로 보정하면 진짜 효과가 지워지고, 원인과 결과가 함께 만든 충돌 요인으로 보정하면 없던 관계가 생깁니다. 무엇으로 보정할지는 자료의 숫자가 아니라 무엇이 무엇을 바꾸는지에 대한 지식으로 정합니다.
무작위 배정을 하면 교란이 완전히 없어지나요?
평균적으로는 그렇습니다. 우연이 치료를 정하므로 잰 요인이든 못 잰 요인이든 두 집단에 고르게 나뉩니다. 다만 한 번의 시험에서는 우연히 다를 수 있고(사람이 적을수록 더), 배정 뒤에 생기는 문제(중도 탈락, 배정과 다른 치료를 받는 것, 결과를 재는 방식의 차이)는 따로 막아야 합니다.
심슨의 역설이 나오면 나눠 본 쪽이 늘 맞나요?
아닙니다. 나눈 기준이 원인보다 먼저 정해졌고 원인과 결과 양쪽에 영향을 준 교란 요인이면 나눠 본 쪽이 맞습니다. 나눈 기준이 원인 때문에 생긴 것(매개)이거나 원인과 결과가 함께 만든 것(충돌)이면 합쳐 본 쪽이 맞습니다. 숫자만으로는 정할 수 없고, 자료가 만들어진 과정을 알아야 합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 셋째 요인이 비교에 섞여 듦 | 교란(confounding) |
| 섞여 드는 요인 | 교란 요인, 교란 변수(confounder) |
| 한쪽으로 치우침 | 편향(bias). 우연 오차(random error)와 달리 계통 오차(systematic error) |
| 나눠 보면 방향이 뒤집힘 | 심슨의 역설(Simpson's paradox) |
| 합쳐서 본 차이 | 단순 차이, 보정 전 추정값(crude estimate) |
| 층으로 나눠 비교하기 | 층화(stratification) |
| 같은 무게로 다시 모으기 | 표준화(standardization), 표준화한 비율(standardized risk) |
| 섞인 것을 빼기 | 보정, 통제(adjustment, controlling for) |
| 층마다 효과가 다름 | 효과 수정(effect modification) |
| 무엇이 무엇을 바꾸나 그림 | 인과 그림, 인과 다이어그램(causal diagram), 방향성 비순환 그래프(DAG, directed acyclic graph) |
| 뒷길 | 뒷문 경로(backdoor path) |
| 사이에서 효과를 나르는 요인 | 매개 요인, 매개 변수(mediator) |
| 화살표 둘이 부딪히는 요인 | 충돌 요인, 충돌부(collider) |
| 우연이 치료를 정함 | 무작위 배정(randomization) |
| 한 층만 모으기 / 짝지어 모으기 | 제한(restriction) / 짝짓기, 매칭(matching) |
| 치료를 받을 확률 | 성향 점수(propensity score) |
| 못 잰 교란이 남음 | 잔여 교란(residual confounding), 측정되지 않은 교란(unmeasured confounding) |
| 뽑힌 사람만 봐서 생긴 치우침 | 선택 편향(selection bias). 병원 자료의 것은 버크슨 편향(Berkson's bias) |
| 남은 것만 봐서 생긴 치우침 | 생존자 편향(survivorship bias) |
| 잘못 재서 생긴 치우침 | 측정 편향, 정보 편향(measurement bias, information bias), 오분류(misclassification) |
| 집단마다 똑같이 / 다르게 틀림 | 차별 없는 오분류(non-differential) / 차별적 오분류(differential misclassification) |
| 기억이 달라 생긴 치우침 | 기억 편향, 회상 편향(recall bias) |
| 실린 연구만 모여 생긴 치우침 | 출판 편향(publication bias) |
| 환자와 대조군을 모아 과거를 묻는 연구 | 환자-대조군 연구(case-control study) |
| 연구자가 치료를 정하지 않고 지켜보기만 하는 연구 | 관찰 연구(observational study) |
| 좁지만 틀린 답 | 정밀도(precision)는 높고 정확도(accuracy)는 낮음 |
출처
- E. H. Simpson, The Interpretation of Interaction in Contingency Tables, Journal of the Royal Statistical Society Series B, 13(2), 238–241, 1951. 층마다의 관계와 합친 관계가 다를 수 있다는 것.
- Miguel A. Hernán, James M. Robins, Causal Inference: What If, Chapman & Hall/CRC. 저자가 PDF 를 공개한 책. 2.3절 표준화, 4.4 · 4.5절 층화와 짝짓기, 6장 인과 그림, 7장 교란(7.4절 전통적인 세 조건의 한계), 8장 선택 편향, 9장 측정 편향.
- Joseph Berkson, Limitations of the Application of Fourfold Table Analysis to Hospital Data, Biometrics Bulletin 2(3), 1946. 병원 자료의 선택 편향.
- Paul R. Rosenbaum, Donald B. Rubin, The central role of the propensity score in observational studies for causal effects, Biometrika 70(1), 41–55, 1983. 성향 점수.
- 인과 그림(DAG)과 뒷문 경로는 Judea Pearl 이 정리한 방법입니다. 이 쪽의 설명은 위 Hernán · Robins 의 책 6 · 7장을 따랐습니다.