반복 측정과 교차 설계: 같은 사람을 여러 번 재기
혈압약이 듣는지 보려고 열두 명을 0, 4, 8, 12주에 잽니다. 사람마다 원래 혈압이 많이 달라서, 평균이 조금 내려간 것은 그 차이에 묻히기 쉽습니다. 같은 사람을 이어서 보면 무엇이 보이는지, 그 대신 무엇을 조심해야 하는지 직접 움직여 봅니다.
한 줄 답. 같은 사람을 여러 번 재면, 사람마다 타고난 차이를 빼고 「그 사람 안에서의 변화」만 비교할 수 있습니다. 그래서 적은 사람으로도 효과가 잘 보입니다. 교차 설계는 모든 사람이 두 치료를 차례로 다 받는 설계입니다. 대신 같은 사람의 측정값은 서로 닮아 있어서 따로따로인 것처럼 분석하면 안 되고, 앞 치료의 효과가 뒤로 넘어오는 것(이월 효과)을 조심해야 합니다.
이 쪽의 자료(혈압, 사람, 약 A·B)는 모두 고정 시드 난수기로 지어낸 것입니다. 이 쪽은 통계 개념을 설명할 뿐, 약이나 치료에 대한 조언이 아닙니다.
두 그림은 같은 값입니다. 왼쪽은 같은 사람의 값을 선으로 잇고, 오른쪽은 이은 선을 지우고 시점마다 평균(파랑)과 퍼짐(보라, 평균 ± 1 표준편차)만 남겼습니다. 막대는 키보드의 화살표로도 움직입니다. 「다른 12명 뽑기」는 시드를 바꿔 다른 열두 명을 지어냅니다.
1. 피험자 간 변동과 피험자 내 변동
반복 측정은 같은 사람(또는 같은 동물, 같은 세포 접시)을 두 번 이상 재는 설계입니다. 시간에 따라 여러 번 재는 것(0, 4, 8, 12주)도, 같은 사람에게 조건을 바꿔 가며 재는 것(약 A 를 먹을 때와 약 B 를 먹을 때)도 여기에 듭니다.
값이 흩어지는 까닭을 둘로 나누면 반복 측정이 왜 유리한지 보입니다.
| 무엇 | 쉬운 말 | 예 | 실험의 막대 |
|---|---|---|---|
| 피험자 간 변동(between-subject variation) | 사람마다 타고난 바탕값이 다른 정도 | 원래 혈압이 120 인 사람과 160 인 사람 | 피험자 간 차이 |
| 피험자 내 변동(within-subject variation) | 같은 사람을 다시 잴 때마다 흔들리는 정도 | 그날의 몸 상태, 재는 기계와 자세 | 피험자 내 오차 |
실험의 자료는 이렇게 지어냈습니다.
값 = 140 + 그 사람의 바탕값 차이 + 진짜 변화 × (주 ÷ 12) + 오차
바탕값 차이는 사람마다 한 번 뽑아 그 사람의 모든 시점에 같이 씁니다(표준편차 = 피험자 간 차이). 오차는 잴 때마다 새로 뽑습니다(표준편차 = 피험자 내 오차). 사람마다 12주 값 − 0주 값 을 내면 바탕값 차이가 빠집니다. 같은 사람의 두 값에 같은 바탕값이 들어 있기 때문입니다. 남는 것은 진짜 변화와 오차 둘뿐입니다. 그래서 왼쪽 그림의 선들은 피험자 간 차이가 아무리 커도 기울기가 비슷합니다.
오른쪽 그림처럼 같은 값을 「시점마다 다른 사람을 잰 것」으로 보면, 시점 사이의 평균 차이를 구름의 폭(피험자 간 차이가 대부분)과 비교해야 합니다. 피험자 간 차이가 크면 변화가 묻힙니다.
같은 사람의 두 시점 값이 얼마나 닮았는지는 이렇게 정해집니다(이 실험처럼 사람마다 다른 것이 바탕값뿐일 때).
같은 사람의 두 값의 상관 = 피험자 간 분산 ÷ (피험자 간 분산 + 피험자 내 분산)
처음 값이면 12² ÷ (12² + 3²) = 144 ÷ 153 ≈ 0.94 입니다. 피험자 간 차이가 클수록, 오차가 작을수록 같은 사람의 값이 닮습니다. 이 비율을 책에서는 급내 상관(ICC)이라고 부릅니다.
해 볼 것. ① 처음(피험자 간 12, 피험자 내 3, 변화 −8)에는 평균이 145.5 에서 137.2 로 8.3 내려갔는데, 한 시점 안에서 사람끼리 퍼진 정도(표준편차)가 평균 12.3 입니다. 오른쪽 구름들이 거의 겹칩니다. 왼쪽에서는 12명 모두 내려갔고, 사람마다의 변화는 평균 −8.3, 표준편차 3 입니다. ② 피험자 내 오차를 10 으로 올리면 내려간 사람이 8명으로 줄고, 사람마다의 변화의 표준편차가 10 이 됩니다. 오차는 사람 안에서 비교해도 지워지지 않습니다. ③ 오차를 3 으로 되돌리고 피험자 간 차이를 20 으로 올리면 오른쪽 구름의 표준편차는 20 이 되지만, 왼쪽 선의 모양과 변화의 표준편차 3 은 그대로입니다. 피험자 간 차이를 0 으로 내리면 오른쪽에서도 변화가 뚜렷합니다(표준편차 2.6). ④ 처음 값에서 진짜 변화를 0 으로 두면 12명 가운데 7명이 내려갑니다. 효과가 없어도 오차만으로 절반쯤은 내려갑니다.
전후 비교만으로는 약 때문인지 모른다
위 실험은 한 집단을 시간에 따라 잰 것입니다. 혈압이 내려갔어도 그것이 약 때문인지, 계절이나 병의 자연스러운 흐름 때문인지, 재는 일에 익숙해져서인지 이 자료만으로는 가려지지 않습니다. 혈압이 높은 사람만 골라 뽑으면 아무것도 하지 않아도 다음에 잴 때 평균 쪽으로 조금 내려오기도 합니다(평균으로의 회귀). 그래서 효과를 말하려면 같은 기간을 지낸 대조군과 비교하거나(무작위 배정과 대조군), 7절의 교차 설계처럼 순서를 섞습니다. 반복 측정이 해 주는 일은 피험자 간 변동을 빼서 비교를 정밀하게 하는 것이고, 원인을 가려 주는 것은 설계입니다.
2. 같은 자료, 두 분석: 독립 두 집단 t 와 대응 t
이제 시점을 둘(0주 = 전, 12주 = 후)로 줄입니다. 전과 후의 평균을 비교하는 방법이 둘입니다(t 검정).
- 독립 두 집단 t 검정: 전 값 12개와 후 값 12개를 서로 다른 사람의 두 집단으로 봅니다.
t = (후 평균 − 전 평균) ÷ √(s₁² ÷ n + s₂² ÷ n). s₁, s₂ 는 두 집단의 표본 표준편차입니다. 여기서는 두 집단의 분산이 같다고 가정하지 않는 웰치 방식을 씁니다. - 대응 t 검정: 사람마다 차이
d = 후 − 전을 먼저 내고, 차이 n 개의 평균이 0 에서 먼지 봅니다.t = d̄ ÷ (s_d ÷ √n), 자유도 n − 1. d̄ 는 차이의 평균, s_d 는 차이의 표본 표준편차입니다.
두 방법의 분자는 같습니다. 후 평균 − 전 평균 = 차이의 평균 이기 때문입니다. 다른 것은 분모, 곧 표준오차입니다. 독립 분석의 분모에는 피험자 간 변동이 들어 있고, 대응 분석의 분모에서는 빠져 있습니다.
| 분석 | 평균 차이 | 표준오차 | t | 자유도 | p |
|---|---|---|---|---|---|
| 독립 두 집단(웰치) | |||||
| 대응 |
ρ 막대는 지어낸 자료를 만들 때 한 시점의 분산 100 을 피험자 간 몫(ρ)과 피험자 내 몫(1 − ρ)으로 나눕니다. ρ 를 바꿔도 한 시점의 표준편차(10)와 진짜 변화(−5)는 그대로이고, 같은 사람의 전후가 더 닮거나 덜 닮을 뿐입니다. 같은 시드라 같은 열두 명이 조금씩 움직입니다. 표본에서 잰 상관 r 은 ρ 와 조금 다릅니다. 「손 예제 다섯 명」은 4절의 숫자로 바꿉니다. 오른쪽 그림은 찾고 싶은 차이 5 mmHg, 표준편차 10, 양쪽 5% 기준, 검정력 80% 로 필요한 사람 수를 추정한 것입니다.
해 볼 것. ① 처음(ρ = 0.8)에는 표본 상관 r = 0.83, 평균 차이 −5.41 입니다. 독립 분석은 표준오차 3.39, t = −1.6, p = 0.125 로 우연과 가려내지 못하는데, 대응 분석은 표준오차 1.38, t = −3.91, p = 0.002 입니다. 같은 자료입니다. ② ρ 를 0 으로 내리면 r = −0.14 이고 두 분석이 비슷해집니다(독립 p = 0.053, 대응 p = 0.082). 짝을 지어도 덕을 볼 것이 없습니다. 이 표본은 r 이 조금 음수라 대응 분석의 표준오차(3.1)가 독립 분석(2.9)보다 오히려 크고, 자유도도 11 로 독립 분석(21.9)보다 적습니다. ③ ρ 를 0.9 로 올리면 대응 분석의 표준오차가 0.98 로 줄어 p < 0.001 이 됩니다. 독립 분석은 표준오차 3.27, p = 0.12 로 거의 그대로입니다. ④ 오른쪽 곡선에서 두 집단 설계는 집단마다 63명, 모두 126명입니다. 대응 설계는 ρ = 0 에서 63명(한 사람을 두 번 재니 측정은 똑같이 126번), 0.5 에서 32명, 0.8 에서 13명, 0.9 에서 7명입니다.
오른쪽 곡선은 이 식으로 그렸습니다(정규분포로 근사한 식).
대응 설계의 사람 수 ≈ (1.96 + 0.84)² × 2σ²(1 − ρ) ÷ δ²두 집단 설계의 집단 하나 ≈ (1.96 + 0.84)² × 2σ² ÷ δ²
δ 는 찾고 싶은 차이(5), σ 는 한 시점의 표준편차(10)입니다. 1.96 은 양쪽 5% 기준의 경계, 0.84 는 검정력 80% 에 해당하는 표준정규분포의 자리입니다. 두 식의 차이는 (1 − ρ) 하나뿐이고, 이것이 다음 절의 식에서 나옵니다. 사람 수가 열 명 안팎으로 작을 때는 t 분포의 경계가 1.96 보다 넓어서 이 근사보다 조금 더 필요합니다. 정확한 계산은 표본 크기 계산 쪽에서 다룹니다.
이렇게 읽으면 틀린다. ① 대응 분석의 p = 0.002 는 「약이 효과가 없을 확률이 0.2%」가 아닙니다. 「효과가 없다면 이만큼 또는 더 큰 차이가 우연히 나올 확률」입니다. ② 독립 분석의 p = 0.125 는 「효과가 없다」는 증거가 아닙니다. 이 분석으로는 우연과 가려내지 못했다는 뜻입니다. ③ 두 분석을 다 해 보고 p 가 작은 쪽을 고르면 안 됩니다. 어느 분석을 쓸지는 자료의 짜임(같은 사람인가)으로 미리 정합니다. 자세한 것은 가설검정과 p값.
3. 식이 만들어지는 과정: 차이값의 분산
대응 분석이 왜 유리한지는 식 하나로 정리됩니다.
Var(후 − 전) = σ₁² + σ₂² − 2ρσ₁σ₂
Var 는 분산, σ₁ 과 σ₂ 는 전과 후의 표준편차, ρ(로)는 같은 사람의 전후 상관입니다. 위 실험과 같은 자료(지금 고른 ρ, 또는 손 예제)를 산점도에 놓고 한 단계씩 만듭니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그 단계만큼 바뀌고, 아래에 까닭과 이 자료의 숫자가 나옵니다. 2절 실험의 ρ 막대나 「손 예제 다섯 명」을 바꾸면 이 그림도 같은 자료로 바뀝니다.
- 산점도:
Var(후 − 전) = ?점 하나가 한 사람입니다. 알고 싶은 것은 사람마다의 차이(후 − 전)가 얼마나 흩어지는가입니다. 그 흩어짐이 작을수록 평균 차이가 뚜렷하게 보입니다. - 짝이 없다면(ρ = 0):
σ₁² + σ₂². 서로 상관없는 두 값의 차이는 흔들림이 지워지지 않고 더해집니다. 빼기여도 분산은 더합니다(확률분포 쪽의 「독립인 둘을 더하면 분산도 더한다」와 같은 이야기입니다). 그림에서는 후 값을 다른 사람의 전 값과 짝지어(돌려 섞어) 상관을 0 가까이 만들었습니다. 처음 자료에서 섞은 짝의 상관은 0.01, 차이의 분산은 137.2 로 두 분산의 합 73.4 + 64.6 = 137.9 에 가깝습니다. - 같이 높고 같이 낮다(ρ > 0):
− ?진짜 짝으로 돌아오면 점들이 대각선을 따라 길쭉합니다. 전에 높던 사람은 후에도 높습니다. 처음 자료의 상관은 0.83 입니다. 두 값이 같이 움직이면 그만큼을 빼야 합니다. - 겹치는 몫을 뺀다:
− 2ρσ₁σ₂. 차이후 − 전은 점이 대각선(후 = 전)에서 세로로 떨어진 거리입니다. 점들이 대각선에 붙어 있을수록 짧습니다. 두 값이 같이 움직이는 양(공분산)이ρσ₁σ₂이고, 2 가 붙는 까닭은(후 − 전)²을 펼치면후² − 2 × 후 × 전 + 전²으로 곱하는 항이 두 번 나오기 때문입니다. 처음 자료로73.4 + 64.6 − 114.9 = 23, 차이값으로 직접 잰 분산도 23 입니다. - σ 가 같으면:
2σ²(1 − ρ). σ₁ = σ₂ = σ 를 넣으면σ² + σ² − 2ρσ² = 2σ²(1 − ρ). 짝이 없을 때의2σ²에(1 − ρ)를 곱한 것입니다. ρ 가 0.8 이면 5분의 1, 0.5 면 절반, 0 이면 그대로입니다. ρ 가 음수면 오히려 커집니다. - 그래서 표준오차가 줄고 t 가 커진다:
SE = √(σ₁² + σ₂² − 2ρσ₁σ₂) ÷ √n. 평균 차이의 표준오차는 차이의 표준편차를 √n 으로 나눈 것입니다. σ 가 같으면 짝이 없을 때의√(1 − ρ)배가 되고, 평균 차이는 그대로라 t 는 그 역수 배로 커집니다. 처음 자료에서 진짜 짝은 표준오차 1.38, t = −3.91, 섞은 짝은 3.38, t = −1.6 입니다.
해 볼 것. ① 처음 자료로 ④ 단계까지 가면 73.4 + 64.6 − 114.9 = 23 이 아래 줄에서 직접 잰 차이의 분산 23 과 같습니다. 표본에서 잰 분산과 상관을 넣으면 이 식은 근사가 아니라 정확히 맞습니다. ② 2절 실험에서 「손 예제 다섯 명」을 누르고 다시 넘기면 ④ 단계가 40 + 22.5 − 54 = 8.5 입니다. ③ ρ 막대를 0 으로 내리고 ④ 단계를 보면 주황 선들이 길어지고, 진짜 짝과 섞은 짝의 차이값이 비슷하게 퍼집니다.
4. 손으로 풀어 보기: 다섯 명의 전후
지어낸 다섯 명의 혈압(mmHg)입니다. 2절 실험의 「손 예제 다섯 명」과 같은 숫자입니다.
| 사람 | 전 | 후 | 차이 d = 후 − 전 | d − 평균 | (d − 평균)² |
|---|---|---|---|---|---|
| 1 | 148 | 140 | −8 | −3 | 9 |
| 2 | 136 | 133 | −3 | 2 | 4 |
| 3 | 152 | 146 | −6 | −1 | 1 |
| 4 | 140 | 139 | −1 | 4 | 16 |
| 5 | 144 | 137 | −7 | −2 | 4 |
| 합 | 720 | 695 | −25 | 0 | 34 |
- 차이의 평균.
d̄ = −25 ÷ 5 = −5. 후 평균 139 − 전 평균 144 와 같습니다. - 차이의 분산과 표준편차.
s_d² = 34 ÷ (5 − 1) = 8.5,s_d = √8.5 ≈ 2.92. 표본으로 모집단을 추정하니 n − 1 로 나눕니다(확률분포 쪽의 표본 분산). - 표준오차.
SE = 2.92 ÷ √5 ≈ 1.30. - t 와 자유도.
t = −5 ÷ 1.30 ≈ −3.83, 자유도5 − 1 = 4. - p값. 자유도 4 인 t 분포에서 |t| 가 3.83 이상일 확률(양쪽)은 약 0.019 입니다. 자유도 4 의 양쪽 5% 경계 2.78 보다 바깥입니다.
같은 숫자를 독립 두 집단으로 분석하면. 전의 분산은 (4² + 8² + 8² + 4² + 0²) ÷ 4 = 160 ÷ 4 = 40, 후의 분산은 (1² + 6² + 7² + 0² + 2²) ÷ 4 = 90 ÷ 4 = 22.5 입니다(평균 144, 139 에서 잰 거리). 표준오차 √(40 ÷ 5 + 22.5 ÷ 5) = √12.5 ≈ 3.54, t = −5 ÷ 3.54 ≈ −1.41, 웰치 자유도 약 7.4, p ≈ 0.20 입니다. 같은 평균 차이 −5 인데 표준오차가 2.7 배쯤 큽니다.
식으로 확인. 공분산은 (4 × 1 + (−8) × (−6) + 8 × 7 + (−4) × 0 + 0 × (−2)) ÷ 4 = 108 ÷ 4 = 27, 상관은 27 ÷ (√40 × √22.5) = 27 ÷ 30 = 0.9 입니다. Var(후 − 전) = 40 + 22.5 − 2 × 27 = 8.5 로 2번의 8.5 와 같습니다.
# 파이썬(scipy)으로 같은 계산
from scipy import stats
before = [148, 136, 152, 140, 144]
after = [140, 133, 146, 139, 137]
stats.ttest_rel(after, before) # 대응: t ≈ −3.83, p ≈ 0.019
stats.ttest_ind(after, before, equal_var=False) # 독립(웰치): t ≈ −1.41, p ≈ 0.198
5. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 피험자 간 변동이 빠진다 | 차이를 사람 안에서 내므로 바탕값이 지워진다. 남는 것은 진짜 변화와 피험자 내 오차 | 1절 실험, 피험자 간 차이를 20 으로 |
| 이득은 상관에 달렸다 | 차이의 분산은 2σ²(1 − ρ). ρ 가 0 이면 이득이 없고 자유도만 준다. 음수면 손해 | 2절의 ρ 막대, 3절 ⑤ 단계 |
| 같은 사람의 값은 독립이 아니다 | 닮은 값을 따로 세면 표준오차가 작게 나와 「유의」가 헛되이 나온다. 표본 크기는 재는 횟수가 아니라 사람 수 | 8절 실험 |
| 순서가 끼어든다 | 뒤에 잰 값에는 시간의 흐름, 연습, 피로, 앞 치료의 효과가 같이 들어 있다 | 7절의 기간 효과와 이월 |
| 빠지는 사람이 생긴다 | 여러 번 오라고 하면 중간에 그만두는 사람이 나온다. 빠진 까닭이 결과와 얽혀 있으면 남은 사람만 보는 분석이 치우친다 | 9절 |
6. 이점과 치르는 값
| 이점 | 치르는 값 |
|---|---|
| 피험자 간 변동이 빠져 적은 사람으로 같은 정밀도를 얻는다 | 빠지는 사람: 오래, 여러 번 올수록 많아진다 |
| 각자가 자기의 비교 대상이 된다 | 순서 효과: 시간이 지나며 저절로 바뀌는 것(계절, 병의 흐름, 평균으로의 회귀)이 치료와 섞인다 |
| 사람마다 어떻게 바뀌는지(누가 빨리, 누가 늦게) 곡선으로 볼 수 있다 | 연습 효과: 같은 검사를 다시 하면 익숙해져서 점수가 오른다 |
| 모을 사람이 적어 기간과 비용이 준다 | 피로 효과: 여러 조건을 한자리에서 잇달아 재면 뒤로 갈수록 지친다 |
| 이월 효과: 앞 치료가 뒤 측정까지 남는다(7절). 그리고 측정값이 서로 닮아 분석이 복잡해진다(8절, 9절) |
순서·연습·피로 효과는 조건의 순서를 사람마다 바꿔 섞으면(교차 설계, 균형 맞춘 순서) 한쪽으로 쏠리지 않게 할 수 있습니다. 섞어서 지워지는 것은 모두에게 같은 방향으로 붙는 효과뿐이고, 이월처럼 순서에 따라 다르게 붙는 효과는 남습니다(7절).
7. 교차 설계: 모두가 두 치료를 다 받는다
교차 설계는 사람마다 두 치료(새 약 A 와 비교할 B, 예를 들어 위약)를 차례로 다 받게 합니다. 순서는 사람마다 무작위로 정합니다. 반은 A 먼저(A → B), 반은 B 먼저(B → A)입니다. 두 기간 사이에는 앞 치료의 효과가 빠지도록 아무 치료도 하지 않는 씻어내기 기간을 둡니다. 두 순서 × 두 기간이라 2×2 교차 설계라고 부르고, 가장 흔한 꼴입니다.
사람마다 A 때 값과 B 때 값이 있으니 치료 효과를 사람 안에서 비교할 수 있습니다. 반복 측정의 이점이 그대로 옵니다. 1절의 전후 비교와 다른 점은, 순서를 섞어서 「시간이 지나 생긴 변화」와 「치료」를 가려낼 수 있다는 것입니다. 추정값은 이렇게 냅니다.
효과 추정값 = ½ × (A 먼저 집단의 (A − B) 평균 + B 먼저 집단의 (A − B) 평균)
지어낸 12명(A 먼저 6명, B 먼저 6명)입니다. 참값은 「A 가 B 보다 혈압을 6 낮춘다」입니다. 기간 효과는 기간 2 에 모두가 그만큼 바뀌는 것(음수 = 낮아짐)입니다. 이월은 씻어내기가 없을 때 A 효과가 기간 2 까지 남는 몫이고, 씻어내기 1주마다 절반으로 줄게 지어냈습니다. 실제로 얼마나 빨리 빠지는지는 약마다 다릅니다. 「오차 없이 계산하면」은 같은 사람들에서 피험자 내 오차만 0 으로 두고 낸 추정값, 곧 추정값의 기댓값입니다.
해 볼 것. ① 처음(기간 효과 −2, 이월 0)에는 A 먼저 집단의 (A − B) 평균이 −2.9, B 먼저 집단이 −8.5 입니다. 한 집단만 보면 기간 효과만큼 한쪽은 작게, 한쪽은 크게 나옵니다(오차 없이 −4 와 −8). 둘을 평균한 추정값은 −5.7 이고, 오차 없이 계산하면 −6 이라 편향이 0 입니다. ② 기간 효과를 −6 으로 바꿔도 추정값은 −5.7, 기댓값은 −6 그대로입니다(오차 없이 A 먼저 집단 0, B 먼저 집단 −12). 순서를 반씩 섞은 덕분입니다. ③ 기간 효과를 −2 로 되돌리고 이월을 60%, 씻어내기를 0주로 두면 추정값이 −3.9(기댓값 −4.2)로 효과가 작아 보입니다. 편향 1.8 = 6 × 0.6 ÷ 2 입니다. ④ 씻어내기를 1, 2, 4주로 늘리면 남은 A 효과가 30%, 15%, 3.8% 로 줄고 추정값의 기댓값이 −5.1, −5.55, −5.89 로 −6 에 다가갑니다.
기간 효과는 지워지고 이월 효과는 남는 까닭
τ(타우)를 A 와 B 의 참 차이, 「기간」을 기간 2 에 모두에게 붙는 변화, 「이월」을 A 먼저 집단의 기간 2(B) 에 남은 A 효과라고 하면, 오차 없이 두 집단의 (A − B) 는 이렇습니다.
| A 먼저 집단 | B 먼저 집단 | 두 집단의 평균 | |
|---|---|---|---|
| A 때 | 바탕 + τ | 바탕 + 기간 + τ | |
| B 때 | 바탕 + 기간 + 이월 | 바탕 | |
| A − B | τ − 기간 − 이월 | τ + 기간 | τ − 이월 ÷ 2 |
기간 효과는 한 집단에서 빼기로, 다른 집단에서 더하기로 들어가 평균하면 지워집니다. 이월은 A 먼저 집단에만 있어서 절반이 남습니다. A 와 B 가 같은 방향의 효과라면 이월 때문에 효과가 실제보다 작아 보입니다. 사람마다의 바탕값은 A − B 를 낼 때 빠집니다.
이월은 자료로 가려내기 어렵습니다. 2×2 설계에서 이월은 치료와 기간이 얽혀 생기는 효과와 구별되지 않고, 이것을 재는 비교는 두 순서군을 비교하는 피험자 간 비교라서 피험자 간 변동을 그대로 안고 있어 힘이 약합니다(ICH E9 3.1.2). 그래서 이월은 자료로 확인하기보다 설계로 막습니다.
| 교차 설계를 쓸 수 있는 때 | 쓸 수 없는 때 |
|---|---|
| 상태가 오래 안정적인 병(만성): 기간 1 과 기간 2 의 출발점이 같다 | 낫고 끝나는 병(감염처럼): 첫 기간에 나으면 둘째 기간에 비교할 것이 없다 |
| 치료 효과가 기간 안에 다 나타나고, 끊으면 금방 사라진다 | 효과가 오래 남는 치료(수술, 한 번 맞으면 오래가는 주사, 교육) |
| 씻어내기 기간을 효과가 다 빠질 만큼 길게 둘 수 있다 | 병이 빠르게 나빠지거나 좋아져서 기간마다 상태가 다르다 |
| 예: 생물학적 동등성 시험(같은 성분의 두 약이 몸 안에서 같은 양으로 도는지 비교) | 기간 사이에 빠지는 사람이 많을 것 같은 긴 시험 |
이 조건들은 ICH E9 의 교차 설계 절에 그대로 나옵니다: 병은 만성이고 안정적이어야 하고, 약의 효과는 치료 기간 안에 다 나타나야 하고, 씻어내기는 약의 효과가 완전히 되돌아갈 만큼 길어야 합니다.
8. 의사 반복: 닮은 값을 따로인 것처럼 세면
한 사람을 10번 재면 측정값은 10개지만, 그 10개는 같은 사람의 바탕값을 나눠 가져서 서로 닮았습니다. 이것을 10명을 한 번씩 잰 것처럼 분석하면 표준오차가 실제보다 작게 나오고 p값이 헛되이 작아집니다. 책에서는 이것을 의사 반복(가짜 반복, pseudoreplication)이라고 부릅니다.
두 집단에 처음부터 아무 차이도 없게 지어냈습니다(집단마다 5명, 피험자 간 표준편차 5, 피험자 내 표준편차 5). 「따로 셈」은 측정 5 × m 개씩을 서로 다른 사람처럼 웰치 t 검정에 넣고, 「사람 평균」은 사람마다 평균 낸 5개씩을 넣습니다. 두 분석은 같은 2,000개의 자료를 봅니다. 「다른 자료」는 왼쪽 그림의 자료만 바꿉니다.
해 볼 것. ① 처음(m = 10)에는 따로 세면 2,000번 가운데 836번(41.8%)이 p < 0.05 이고, 사람마다 평균 내면 88번(4.4%)입니다. 효과가 없으니 5% 근처가 맞는 값입니다. ② m 을 1 로 내리면 두 분석이 같아져 둘 다 5.0% 입니다. ③ m 을 20 으로 올리면 따로 센 쪽이 57.8% 까지 오릅니다. 재는 횟수를 늘릴수록 틀린 분석은 더 자주 속습니다. ④ 처음 그림의 자료는 따로 세면 p = 0.087, 사람 평균으로는 0.292 입니다. 「다른 자료」를 세 번 누르면 따로 세면 p = 0.005 인데 사람 평균으로는 0.307 입니다.
왜 그런가. 한 사람을 m 번 재서 평균 내면, 그 평균의 분산은 피험자 간 분산 + 피험자 내 분산 ÷ m 입니다. m 을 늘려도 줄어드는 것은 뒤쪽뿐이고, 피험자 간 분산은 사람 수를 늘려야만 줄어듭니다. 따로 센 분석은 두 몫이 모두 측정 수로 나뉘는 것처럼 계산해서 표준오차를 작게 냅니다. 얼마나 작게 내는지는 1 + (m − 1) × ICC 로 추정하고, 이것을 설계 효과라고 부릅니다. 이 실험은 ICC 가 0.5(피험자 간 5², 피험자 내 5²)라서 m = 10 이면 5.5, 곧 분산을 5.5 배, 표준오차를 √5.5 ≈ 2.3 배 작게 잡습니다.
재는 횟수가 아니라 사람 수가 표본 크기입니다. 여러 번 재는 것은 한 사람의 값을 더 정확하게 할 뿐입니다. 사람마다 평균을 내서 분석하거나, 사람을 군집으로 다루는 분석(9절의 혼합 모형)을 씁니다.
묶인 자료도 같은 문제입니다. 같은 병원의 환자들(병원마다 치료 방식과 환자층이 달라 서로 닮는다), 같은 사람의 두 눈, 한 동물에서 얻은 세포 여러 개, 같은 접시에서 기른 세포, 같은 반 학생들이 모두 그렇습니다. 「무엇을 무작위로 나눴나」가 분석의 단위입니다. 병원째로 치료를 나눴다면(군집 무작위 배정) 실제로 가진 정보는 환자 수보다 적고, 병원 안의 환자끼리 닮을수록 병원 수 쪽으로 줄어듭니다. 개발자에게 익숙한 예로, 한 사용자의 클릭 수천 번을 사용자 수천 명처럼 세는 A/B 시험 분석이 같은 잘못입니다.
9. 시점이 셋 이상이면, 그리고 빠진 자료
시점이 셋 이상이면(0, 4, 8, 12주) 대응 t 검정 하나로는 부족합니다. 흔히 쓰는 것이 둘입니다. 반복 측정 분산분석은 시점을 요인으로 두고 사람을 블록처럼 다뤄 피험자 간 변동을 떼어 냅니다(분산분석, 블록 설계). 시점 쌍마다 차이의 분산이 모두 같다는 가정(구형성)이 필요하고, 어긋나면 자유도를 줄여 보정합니다. 혼합 모형은 「사람마다 다른 바탕값을 따로 둔다」는 생각을 식에 그대로 넣습니다. 1절의 값 = 140 + 그 사람의 바탕값 차이 + 변화 + 오차 이 바로 그 꼴이고, 사람마다 기울기도 다르게 둘 수 있습니다. 시점이 사람마다 달라도, 중간에 빠진 값이 있어도 남은 값을 다 쓸 수 있습니다. 이 쪽은 혼합 모형의 생각만 보이고, 숫자를 추정하는 방법(최대 가능도 등)은 다루지 않습니다.
바탕값을 보정에 넣는 분석. 두 집단을 비교하는 시험에서 끝 값을 비교할 때 시작 값(바탕값)을 회귀식에 함께 넣는 방법을 공분산분석(ANCOVA)이라고 부릅니다(상관과 회귀). 무작위로 나눈 시험에서는 차이값(끝 − 시작)을 비교하거나 끝 값만 비교하는 것보다 대개 검정력이 크고, 바탕값과 끝 값의 상관이 아주 높으면 차이값 분석과의 차이는 작아집니다(Vickers, Altman).
빠진 자료. 여러 번 오게 하면 중간에 그만두는 사람이 생깁니다. 대응 t 검정은 두 값이 다 있는 사람만 쓰므로, 빠진 사람을 통째로 버립니다. 빠진 까닭이 결과와 상관없다면 사람이 줄어 덜 정밀해질 뿐이지만, 약이 듣지 않아 그만둔 사람이 많다면 남은 사람만 보는 분석은 약을 좋게 보이게 치우칩니다. 혼합 모형은 모형이 맞다면 빠진 까닭이 이미 잰 값들로 설명되는 경우까지는 남은 값으로 바르게 추정하지만, 잰 적 없는 것(빠진 뒤의 상태) 때문에 빠졌다면 어떤 분석도 자료만으로는 바로잡지 못합니다. 그래서 왜 빠졌는지를 기록하고, 빠짐을 줄이는 설계(짧은 기간, 적은 방문)를 먼저 합니다.
어디에 쓰나
- 치료 전후와 회복 곡선. 같은 사람의 혈압, 몸무게, 통증 점수를 여러 주 동안 재서 변화와 그 빠르기를 봅니다. 효과를 말하려면 대조군과 함께 씁니다(임상시험 설계).
- 교차 설계. 증상이 오래 이어지는 병의 증상을 덜어 주는 약, 그리고 생물학적 동등성 시험처럼 사람마다 두 약을 차례로 받아도 되는 경우.
- 짝지은 설계. 쌍둥이, 같은 사람의 왼쪽과 오른쪽(한쪽 눈에 약, 다른 쪽에 위약), 나이와 성별을 맞춘 두 사람. 짝 하나가 크기 2 인 블록입니다(블록 설계).
- 실험실. 같은 세포 배양을 시간마다, 같은 동물을 처리 전후로 잽니다. 분석 단위가 세포인지 동물인지를 먼저 정합니다(8절).
- 개발에서. 코드를 고치기 전과 후의 속도를 같은 기계, 같은 입력에서 재서 짝지어 비교하면 기계마다의 차이가 빠집니다. 반대로 한 사용자의 행동 여러 번을 사용자 여러 명처럼 세면 8절의 잘못이 됩니다.
자주 묻는 것
대응 t 검정과 독립 t 검정은 무엇으로 고르나요?
자료의 짜임으로 고릅니다. 같은 사람(또는 미리 짝지은 두 사람)을 두 번 쟀으면 대응 t 검정, 서로 다른 사람의 두 집단이면 독립 t 검정입니다. 두 분석을 다 해 보고 p값이 작은 쪽을 고르면 안 됩니다.
한 사람을 여러 번 재면 사람을 적게 모아도 되나요?
재는 횟수를 늘리면 한 사람의 값이 정확해질 뿐, 사람마다 다른 정도는 그대로입니다. 「사람들에게 효과가 있나」를 묻는다면 표본 크기는 사람 수입니다. 측정 1,000개가 10명에게서 나왔다면 표본은 10명입니다.
대응 분석은 늘 더 좋은가요?
같은 사람의 두 값이 닮았을 때(상관이 양수일 때) 좋습니다. 상관이 0 이면 덕을 볼 것이 없고 자유도만 줄며, 음수면 오히려 손해입니다. 그래도 짝이 있는 자료라면 짜임에 맞는 대응 분석을 씁니다.
교차 설계는 언제 쓸 수 없나요?
낫고 끝나는 병(첫 기간에 나으면 둘째 기간에 비교할 것이 없습니다), 효과가 오래 남는 치료, 병의 상태가 기간마다 크게 바뀌는 경우입니다. 이월 효과는 자료로 가려내기 어려워서, 설계할 때 넉넉한 씻어내기 기간으로 막습니다.
대응 분석의 p값이 0.002 면 약이 효과가 있을 확률이 99.8% 인가요?
아닙니다. p값은 「효과가 없다면 이만큼 또는 더 큰 차이가 우연히 나올 확률」입니다. 효과가 있을 확률도, 효과의 크기도 아닙니다. 크기는 평균 차이와 그 신뢰구간으로 봅니다. 한 집단의 전후 비교라면 내려간 것이 약 때문인지 시간 때문인지도 따로 따져야 합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 같은 사람을 여러 번 재기 | 반복 측정(repeated measures), 피험자 내 설계(within-subject design). 시간에 따라 재면 종단 자료(longitudinal data) |
| 사람마다 선 하나로 이은 그림 | 스파게티 그림(spaghetti plot), 개인별 궤적(individual profiles) |
| 사람 사이 변동 / 사람 안 변동 | 피험자 간 변동(between-subject variation) / 피험자 내 변동(within-subject variation) |
| 같은 사람의 값이 닮은 정도 | 급내 상관(intraclass correlation, ICC) |
| 전후를 짝지어 비교 | 대응 t 검정, 짝지은 t 검정(paired t-test) |
| 두 집단을 서로 다른 사람으로 비교 | 독립 두 표본 t 검정(independent two-sample t-test). 분산이 같다고 두지 않으면 웰치 t 검정(Welch's t-test) |
| 평균 차이가 흔들리는 정도 | 표준오차(standard error, SE) |
| 모두가 두 치료를 차례로 받는 설계 | 교차 설계(crossover design). 두 순서 × 두 기간이면 2×2 교차 설계(AB/BA) |
| A 먼저, B 먼저 | 순서, 순서군(sequence) |
| 사이에 쉬는 기간 | 씻어내기 기간, 휴약기(washout period) |
| 뒤 기간에 모두에게 붙는 변화 | 기간 효과(period effect) |
| 앞 치료의 효과가 뒤로 넘어옴 | 이월 효과(carryover effect) |
| 순서, 연습, 피로가 끼어듦 | 순서 효과(order effect), 연습 효과(practice effect), 피로 효과(fatigue effect) |
| 평균 쪽으로 돌아오는 것 | 평균으로의 회귀(regression to the mean) |
| 닮은 값을 따로인 것처럼 세기 | 의사 반복(pseudoreplication) |
| 분산을 몇 배 작게 잡았나 | 설계 효과(design effect) |
| 묶인 자료, 묶음째 나누기 | 군집 자료(clustered data), 군집 무작위 배정(cluster randomization) |
| 사람마다 바탕값을 따로 두는 모형 | 혼합 모형, 혼합 효과 모형(mixed-effects model). 사람마다의 바탕값은 랜덤 절편(random intercept) |
| 시점이 여럿일 때의 분산분석 | 반복 측정 분산분석(repeated-measures ANOVA). 그 가정은 구형성(sphericity) |
| 바탕값을 보정에 넣는 분석 | 공분산분석(analysis of covariance, ANCOVA) |
| 빠진 자료, 중간에 그만둠 | 결측 자료(missing data), 중도 탈락(dropout) |
| 같은 성분의 두 약 비교 시험 | 생물학적 동등성 시험(bioequivalence study) |
출처
- ICH, E9: Statistical Principles for Clinical Trials, 3.1.2 Crossover Design. 이월이 가장 큰 어려움이라는 것, 2×2 설계에서 이월의 검정은 피험자 간 비교라 힘이 약하다는 것, 병이 만성이고 안정적이어야 하고 씻어내기가 충분히 길어야 한다는 것, 빠지는 사람이 분석을 어렵게 한다는 것.
- Stuart H. Hurlbert, Pseudoreplication and the Design of Ecological Field Experiments, Ecological Monographs. 의사 반복이라는 말과 정의.
- Stanley E. Lazic, The problem of pseudoreplication in neuroscientific studies: is it affecting your analysis?, BMC Neuroscience. 한 동물에서 얻은 여러 값을 따로 세는 문제.
- NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.5.3 Two-Sample t-Test for Equal Means. 독립 두 표본 t 검정과 분산이 다를 때의 자유도.
- SciPy 문서: scipy.stats.ttest_rel, scipy.stats.ttest_ind. 손 예제의 t 와 p 를 이것으로 맞춰 봤습니다.
- Andrew J. Vickers, Douglas G. Altman, Analysing controlled trials with baseline and follow up measurements, BMJ. 바탕값을 보정에 넣는 분석(ANCOVA)과 차이값 분석의 비교.
- NIST DLMF, §8.17 Incomplete Beta Functions. 실험이 t 분포의 넓이를 셀 때 쓰는 불완전 베타 함수.