반복 측정과 교차 설계: 같은 사람을 여러 번 재기

혈압약이 듣는지 보려고 열두 명을 0, 4, 8, 12주에 잽니다. 사람마다 원래 혈압이 많이 달라서, 평균이 조금 내려간 것은 그 차이에 묻히기 쉽습니다. 같은 사람을 이어서 보면 무엇이 보이는지, 그 대신 무엇을 조심해야 하는지 직접 움직여 봅니다.

한 줄 답. 같은 사람을 여러 번 재면, 사람마다 타고난 차이를 빼고 「그 사람 안에서의 변화」만 비교할 수 있습니다. 그래서 적은 사람으로도 효과가 잘 보입니다. 교차 설계는 모든 사람이 두 치료를 차례로 다 받는 설계입니다. 대신 같은 사람의 측정값은 서로 닮아 있어서 따로따로인 것처럼 분석하면 안 되고, 앞 치료의 효과가 뒤로 넘어오는 것(이월 효과)을 조심해야 합니다.

이 쪽의 자료(혈압, 사람, 약 A·B)는 모두 고정 시드 난수기로 지어낸 것입니다. 이 쪽은 통계 개념을 설명할 뿐, 약이나 치료에 대한 조언이 아닙니다.

두 그림은 같은 값입니다. 왼쪽은 같은 사람의 값을 선으로 잇고, 오른쪽은 이은 선을 지우고 시점마다 평균(파랑)과 퍼짐(보라, 평균 ± 1 표준편차)만 남겼습니다. 막대는 키보드의 화살표로도 움직입니다. 「다른 12명 뽑기」는 시드를 바꿔 다른 열두 명을 지어냅니다.

1. 피험자 간 변동과 피험자 내 변동

반복 측정은 같은 사람(또는 같은 동물, 같은 세포 접시)을 두 번 이상 재는 설계입니다. 시간에 따라 여러 번 재는 것(0, 4, 8, 12주)도, 같은 사람에게 조건을 바꿔 가며 재는 것(약 A 를 먹을 때와 약 B 를 먹을 때)도 여기에 듭니다.

값이 흩어지는 까닭을 둘로 나누면 반복 측정이 왜 유리한지 보입니다.

무엇쉬운 말예실험의 막대
피험자 간 변동(between-subject variation)사람마다 타고난 바탕값이 다른 정도원래 혈압이 120 인 사람과 160 인 사람피험자 간 차이
피험자 내 변동(within-subject variation)같은 사람을 다시 잴 때마다 흔들리는 정도그날의 몸 상태, 재는 기계와 자세피험자 내 오차

실험의 자료는 이렇게 지어냈습니다.

값 = 140 + 그 사람의 바탕값 차이 + 진짜 변화 × (주 ÷ 12) + 오차

바탕값 차이는 사람마다 한 번 뽑아 그 사람의 모든 시점에 같이 씁니다(표준편차 = 피험자 간 차이). 오차는 잴 때마다 새로 뽑습니다(표준편차 = 피험자 내 오차). 사람마다 12주 값 − 0주 값 을 내면 바탕값 차이가 빠집니다. 같은 사람의 두 값에 같은 바탕값이 들어 있기 때문입니다. 남는 것은 진짜 변화와 오차 둘뿐입니다. 그래서 왼쪽 그림의 선들은 피험자 간 차이가 아무리 커도 기울기가 비슷합니다.

오른쪽 그림처럼 같은 값을 「시점마다 다른 사람을 잰 것」으로 보면, 시점 사이의 평균 차이를 구름의 폭(피험자 간 차이가 대부분)과 비교해야 합니다. 피험자 간 차이가 크면 변화가 묻힙니다.

같은 사람의 두 시점 값이 얼마나 닮았는지는 이렇게 정해집니다(이 실험처럼 사람마다 다른 것이 바탕값뿐일 때).

같은 사람의 두 값의 상관 = 피험자 간 분산 ÷ (피험자 간 분산 + 피험자 내 분산)

처음 값이면 12² ÷ (12² + 3²) = 144 ÷ 153 ≈ 0.94 입니다. 피험자 간 차이가 클수록, 오차가 작을수록 같은 사람의 값이 닮습니다. 이 비율을 책에서는 급내 상관(ICC)이라고 부릅니다.

해 볼 것. ① 처음(피험자 간 12, 피험자 내 3, 변화 −8)에는 평균이 145.5 에서 137.2 로 8.3 내려갔는데, 한 시점 안에서 사람끼리 퍼진 정도(표준편차)가 평균 12.3 입니다. 오른쪽 구름들이 거의 겹칩니다. 왼쪽에서는 12명 모두 내려갔고, 사람마다의 변화는 평균 −8.3, 표준편차 3 입니다. ② 피험자 내 오차를 10 으로 올리면 내려간 사람이 8명으로 줄고, 사람마다의 변화의 표준편차가 10 이 됩니다. 오차는 사람 안에서 비교해도 지워지지 않습니다. ③ 오차를 3 으로 되돌리고 피험자 간 차이를 20 으로 올리면 오른쪽 구름의 표준편차는 20 이 되지만, 왼쪽 선의 모양과 변화의 표준편차 3 은 그대로입니다. 피험자 간 차이를 0 으로 내리면 오른쪽에서도 변화가 뚜렷합니다(표준편차 2.6). ④ 처음 값에서 진짜 변화를 0 으로 두면 12명 가운데 7명이 내려갑니다. 효과가 없어도 오차만으로 절반쯤은 내려갑니다.

전후 비교만으로는 약 때문인지 모른다

위 실험은 한 집단을 시간에 따라 잰 것입니다. 혈압이 내려갔어도 그것이 약 때문인지, 계절이나 병의 자연스러운 흐름 때문인지, 재는 일에 익숙해져서인지 이 자료만으로는 가려지지 않습니다. 혈압이 높은 사람만 골라 뽑으면 아무것도 하지 않아도 다음에 잴 때 평균 쪽으로 조금 내려오기도 합니다(평균으로의 회귀). 그래서 효과를 말하려면 같은 기간을 지낸 대조군과 비교하거나(무작위 배정과 대조군), 7절의 교차 설계처럼 순서를 섞습니다. 반복 측정이 해 주는 일은 피험자 간 변동을 빼서 비교를 정밀하게 하는 것이고, 원인을 가려 주는 것은 설계입니다.

2. 같은 자료, 두 분석: 독립 두 집단 t 와 대응 t

이제 시점을 둘(0주 = 전, 12주 = 후)로 줄입니다. 전과 후의 평균을 비교하는 방법이 둘입니다(t 검정).

두 방법의 분자는 같습니다. 후 평균 − 전 평균 = 차이의 평균 이기 때문입니다. 다른 것은 분모, 곧 표준오차입니다. 독립 분석의 분모에는 피험자 간 변동이 들어 있고, 대응 분석의 분모에서는 빠져 있습니다.

분석평균 차이표준오차t자유도p
독립 두 집단(웰치)
대응

ρ 막대는 지어낸 자료를 만들 때 한 시점의 분산 100 을 피험자 간 몫(ρ)과 피험자 내 몫(1 − ρ)으로 나눕니다. ρ 를 바꿔도 한 시점의 표준편차(10)와 진짜 변화(−5)는 그대로이고, 같은 사람의 전후가 더 닮거나 덜 닮을 뿐입니다. 같은 시드라 같은 열두 명이 조금씩 움직입니다. 표본에서 잰 상관 r 은 ρ 와 조금 다릅니다. 「손 예제 다섯 명」은 4절의 숫자로 바꿉니다. 오른쪽 그림은 찾고 싶은 차이 5 mmHg, 표준편차 10, 양쪽 5% 기준, 검정력 80% 로 필요한 사람 수를 추정한 것입니다.

해 볼 것. ① 처음(ρ = 0.8)에는 표본 상관 r = 0.83, 평균 차이 −5.41 입니다. 독립 분석은 표준오차 3.39, t = −1.6, p = 0.125 로 우연과 가려내지 못하는데, 대응 분석은 표준오차 1.38, t = −3.91, p = 0.002 입니다. 같은 자료입니다. ② ρ 를 0 으로 내리면 r = −0.14 이고 두 분석이 비슷해집니다(독립 p = 0.053, 대응 p = 0.082). 짝을 지어도 덕을 볼 것이 없습니다. 이 표본은 r 이 조금 음수라 대응 분석의 표준오차(3.1)가 독립 분석(2.9)보다 오히려 크고, 자유도도 11 로 독립 분석(21.9)보다 적습니다. ③ ρ 를 0.9 로 올리면 대응 분석의 표준오차가 0.98 로 줄어 p < 0.001 이 됩니다. 독립 분석은 표준오차 3.27, p = 0.12 로 거의 그대로입니다. ④ 오른쪽 곡선에서 두 집단 설계는 집단마다 63명, 모두 126명입니다. 대응 설계는 ρ = 0 에서 63명(한 사람을 두 번 재니 측정은 똑같이 126번), 0.5 에서 32명, 0.8 에서 13명, 0.9 에서 7명입니다.

오른쪽 곡선은 이 식으로 그렸습니다(정규분포로 근사한 식).

대응 설계의 사람 수 ≈ (1.96 + 0.84)² × 2σ²(1 − ρ) ÷ δ²
두 집단 설계의 집단 하나 ≈ (1.96 + 0.84)² × 2σ² ÷ δ²

δ 는 찾고 싶은 차이(5), σ 는 한 시점의 표준편차(10)입니다. 1.96 은 양쪽 5% 기준의 경계, 0.84 는 검정력 80% 에 해당하는 표준정규분포의 자리입니다. 두 식의 차이는 (1 − ρ) 하나뿐이고, 이것이 다음 절의 식에서 나옵니다. 사람 수가 열 명 안팎으로 작을 때는 t 분포의 경계가 1.96 보다 넓어서 이 근사보다 조금 더 필요합니다. 정확한 계산은 표본 크기 계산 쪽에서 다룹니다.

이렇게 읽으면 틀린다. ① 대응 분석의 p = 0.002 는 「약이 효과가 없을 확률이 0.2%」가 아닙니다. 「효과가 없다면 이만큼 또는 더 큰 차이가 우연히 나올 확률」입니다. ② 독립 분석의 p = 0.125 는 「효과가 없다」는 증거가 아닙니다. 이 분석으로는 우연과 가려내지 못했다는 뜻입니다. ③ 두 분석을 다 해 보고 p 가 작은 쪽을 고르면 안 됩니다. 어느 분석을 쓸지는 자료의 짜임(같은 사람인가)으로 미리 정합니다. 자세한 것은 가설검정과 p값.

3. 식이 만들어지는 과정: 차이값의 분산

대응 분석이 왜 유리한지는 식 하나로 정리됩니다.

Var(후 − 전) = σ₁² + σ₂² − 2ρσ₁σ₂

Var 는 분산, σ₁ 과 σ₂ 는 전과 후의 표준편차, ρ(로)는 같은 사람의 전후 상관입니다. 위 실험과 같은 자료(지금 고른 ρ, 또는 손 예제)를 산점도에 놓고 한 단계씩 만듭니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그 단계만큼 바뀌고, 아래에 까닭과 이 자료의 숫자가 나옵니다. 2절 실험의 ρ 막대나 「손 예제 다섯 명」을 바꾸면 이 그림도 같은 자료로 바뀝니다.

  1. 산점도: Var(후 − 전) = ? 점 하나가 한 사람입니다. 알고 싶은 것은 사람마다의 차이(후 − 전)가 얼마나 흩어지는가입니다. 그 흩어짐이 작을수록 평균 차이가 뚜렷하게 보입니다.
  2. 짝이 없다면(ρ = 0): σ₁² + σ₂². 서로 상관없는 두 값의 차이는 흔들림이 지워지지 않고 더해집니다. 빼기여도 분산은 더합니다(확률분포 쪽의 「독립인 둘을 더하면 분산도 더한다」와 같은 이야기입니다). 그림에서는 후 값을 다른 사람의 전 값과 짝지어(돌려 섞어) 상관을 0 가까이 만들었습니다. 처음 자료에서 섞은 짝의 상관은 0.01, 차이의 분산은 137.2 로 두 분산의 합 73.4 + 64.6 = 137.9 에 가깝습니다.
  3. 같이 높고 같이 낮다(ρ > 0): − ? 진짜 짝으로 돌아오면 점들이 대각선을 따라 길쭉합니다. 전에 높던 사람은 후에도 높습니다. 처음 자료의 상관은 0.83 입니다. 두 값이 같이 움직이면 그만큼을 빼야 합니다.
  4. 겹치는 몫을 뺀다: − 2ρσ₁σ₂. 차이 후 − 전 은 점이 대각선(후 = 전)에서 세로로 떨어진 거리입니다. 점들이 대각선에 붙어 있을수록 짧습니다. 두 값이 같이 움직이는 양(공분산)이 ρσ₁σ₂ 이고, 2 가 붙는 까닭은 (후 − 전)² 을 펼치면 후² − 2 × 후 × 전 + 전² 으로 곱하는 항이 두 번 나오기 때문입니다. 처음 자료로 73.4 + 64.6 − 114.9 = 23, 차이값으로 직접 잰 분산도 23 입니다.
  5. σ 가 같으면: 2σ²(1 − ρ). σ₁ = σ₂ = σ 를 넣으면 σ² + σ² − 2ρσ² = 2σ²(1 − ρ). 짝이 없을 때의 2σ² 에 (1 − ρ) 를 곱한 것입니다. ρ 가 0.8 이면 5분의 1, 0.5 면 절반, 0 이면 그대로입니다. ρ 가 음수면 오히려 커집니다.
  6. 그래서 표준오차가 줄고 t 가 커진다: SE = √(σ₁² + σ₂² − 2ρσ₁σ₂) ÷ √n. 평균 차이의 표준오차는 차이의 표준편차를 √n 으로 나눈 것입니다. σ 가 같으면 짝이 없을 때의 √(1 − ρ) 배가 되고, 평균 차이는 그대로라 t 는 그 역수 배로 커집니다. 처음 자료에서 진짜 짝은 표준오차 1.38, t = −3.91, 섞은 짝은 3.38, t = −1.6 입니다.

해 볼 것. ① 처음 자료로 ④ 단계까지 가면 73.4 + 64.6 − 114.9 = 23 이 아래 줄에서 직접 잰 차이의 분산 23 과 같습니다. 표본에서 잰 분산과 상관을 넣으면 이 식은 근사가 아니라 정확히 맞습니다. ② 2절 실험에서 「손 예제 다섯 명」을 누르고 다시 넘기면 ④ 단계가 40 + 22.5 − 54 = 8.5 입니다. ③ ρ 막대를 0 으로 내리고 ④ 단계를 보면 주황 선들이 길어지고, 진짜 짝과 섞은 짝의 차이값이 비슷하게 퍼집니다.

4. 손으로 풀어 보기: 다섯 명의 전후

지어낸 다섯 명의 혈압(mmHg)입니다. 2절 실험의 「손 예제 다섯 명」과 같은 숫자입니다.

사람전후차이 d = 후 − 전d − 평균(d − 평균)²
1148140−8−39
2136133−324
3152146−6−11
4140139−1416
5144137−7−24
합720695−25034
  1. 차이의 평균. d̄ = −25 ÷ 5 = −5. 후 평균 139 − 전 평균 144 와 같습니다.
  2. 차이의 분산과 표준편차. s_d² = 34 ÷ (5 − 1) = 8.5, s_d = √8.5 ≈ 2.92. 표본으로 모집단을 추정하니 n − 1 로 나눕니다(확률분포 쪽의 표본 분산).
  3. 표준오차. SE = 2.92 ÷ √5 ≈ 1.30.
  4. t 와 자유도. t = −5 ÷ 1.30 ≈ −3.83, 자유도 5 − 1 = 4.
  5. p값. 자유도 4 인 t 분포에서 |t| 가 3.83 이상일 확률(양쪽)은 약 0.019 입니다. 자유도 4 의 양쪽 5% 경계 2.78 보다 바깥입니다.

같은 숫자를 독립 두 집단으로 분석하면. 전의 분산은 (4² + 8² + 8² + 4² + 0²) ÷ 4 = 160 ÷ 4 = 40, 후의 분산은 (1² + 6² + 7² + 0² + 2²) ÷ 4 = 90 ÷ 4 = 22.5 입니다(평균 144, 139 에서 잰 거리). 표준오차 √(40 ÷ 5 + 22.5 ÷ 5) = √12.5 ≈ 3.54, t = −5 ÷ 3.54 ≈ −1.41, 웰치 자유도 약 7.4, p ≈ 0.20 입니다. 같은 평균 차이 −5 인데 표준오차가 2.7 배쯤 큽니다.

식으로 확인. 공분산은 (4 × 1 + (−8) × (−6) + 8 × 7 + (−4) × 0 + 0 × (−2)) ÷ 4 = 108 ÷ 4 = 27, 상관은 27 ÷ (√40 × √22.5) = 27 ÷ 30 = 0.9 입니다. Var(후 − 전) = 40 + 22.5 − 2 × 27 = 8.5 로 2번의 8.5 와 같습니다.

# 파이썬(scipy)으로 같은 계산
from scipy import stats
before = [148, 136, 152, 140, 144]
after = [140, 133, 146, 139, 137]
stats.ttest_rel(after, before)                    # 대응: t ≈ −3.83, p ≈ 0.019
stats.ttest_ind(after, before, equal_var=False)   # 독립(웰치): t ≈ −1.41, p ≈ 0.198

5. 꼭 알아야 할 성질

성질쉬운 말실험에서
피험자 간 변동이 빠진다차이를 사람 안에서 내므로 바탕값이 지워진다. 남는 것은 진짜 변화와 피험자 내 오차1절 실험, 피험자 간 차이를 20 으로
이득은 상관에 달렸다차이의 분산은 2σ²(1 − ρ). ρ 가 0 이면 이득이 없고 자유도만 준다. 음수면 손해2절의 ρ 막대, 3절 ⑤ 단계
같은 사람의 값은 독립이 아니다닮은 값을 따로 세면 표준오차가 작게 나와 「유의」가 헛되이 나온다. 표본 크기는 재는 횟수가 아니라 사람 수8절 실험
순서가 끼어든다뒤에 잰 값에는 시간의 흐름, 연습, 피로, 앞 치료의 효과가 같이 들어 있다7절의 기간 효과와 이월
빠지는 사람이 생긴다여러 번 오라고 하면 중간에 그만두는 사람이 나온다. 빠진 까닭이 결과와 얽혀 있으면 남은 사람만 보는 분석이 치우친다9절

6. 이점과 치르는 값

이점치르는 값
피험자 간 변동이 빠져 적은 사람으로 같은 정밀도를 얻는다빠지는 사람: 오래, 여러 번 올수록 많아진다
각자가 자기의 비교 대상이 된다순서 효과: 시간이 지나며 저절로 바뀌는 것(계절, 병의 흐름, 평균으로의 회귀)이 치료와 섞인다
사람마다 어떻게 바뀌는지(누가 빨리, 누가 늦게) 곡선으로 볼 수 있다연습 효과: 같은 검사를 다시 하면 익숙해져서 점수가 오른다
모을 사람이 적어 기간과 비용이 준다피로 효과: 여러 조건을 한자리에서 잇달아 재면 뒤로 갈수록 지친다
이월 효과: 앞 치료가 뒤 측정까지 남는다(7절). 그리고 측정값이 서로 닮아 분석이 복잡해진다(8절, 9절)

순서·연습·피로 효과는 조건의 순서를 사람마다 바꿔 섞으면(교차 설계, 균형 맞춘 순서) 한쪽으로 쏠리지 않게 할 수 있습니다. 섞어서 지워지는 것은 모두에게 같은 방향으로 붙는 효과뿐이고, 이월처럼 순서에 따라 다르게 붙는 효과는 남습니다(7절).

7. 교차 설계: 모두가 두 치료를 다 받는다

교차 설계는 사람마다 두 치료(새 약 A 와 비교할 B, 예를 들어 위약)를 차례로 다 받게 합니다. 순서는 사람마다 무작위로 정합니다. 반은 A 먼저(A → B), 반은 B 먼저(B → A)입니다. 두 기간 사이에는 앞 치료의 효과가 빠지도록 아무 치료도 하지 않는 씻어내기 기간을 둡니다. 두 순서 × 두 기간이라 2×2 교차 설계라고 부르고, 가장 흔한 꼴입니다.

사람마다 A 때 값과 B 때 값이 있으니 치료 효과를 사람 안에서 비교할 수 있습니다. 반복 측정의 이점이 그대로 옵니다. 1절의 전후 비교와 다른 점은, 순서를 섞어서 「시간이 지나 생긴 변화」와 「치료」를 가려낼 수 있다는 것입니다. 추정값은 이렇게 냅니다.

효과 추정값 = ½ × (A 먼저 집단의 (A − B) 평균 + B 먼저 집단의 (A − B) 평균)

지어낸 12명(A 먼저 6명, B 먼저 6명)입니다. 참값은 「A 가 B 보다 혈압을 6 낮춘다」입니다. 기간 효과는 기간 2 에 모두가 그만큼 바뀌는 것(음수 = 낮아짐)입니다. 이월은 씻어내기가 없을 때 A 효과가 기간 2 까지 남는 몫이고, 씻어내기 1주마다 절반으로 줄게 지어냈습니다. 실제로 얼마나 빨리 빠지는지는 약마다 다릅니다. 「오차 없이 계산하면」은 같은 사람들에서 피험자 내 오차만 0 으로 두고 낸 추정값, 곧 추정값의 기댓값입니다.

해 볼 것. ① 처음(기간 효과 −2, 이월 0)에는 A 먼저 집단의 (A − B) 평균이 −2.9, B 먼저 집단이 −8.5 입니다. 한 집단만 보면 기간 효과만큼 한쪽은 작게, 한쪽은 크게 나옵니다(오차 없이 −4 와 −8). 둘을 평균한 추정값은 −5.7 이고, 오차 없이 계산하면 −6 이라 편향이 0 입니다. ② 기간 효과를 −6 으로 바꿔도 추정값은 −5.7, 기댓값은 −6 그대로입니다(오차 없이 A 먼저 집단 0, B 먼저 집단 −12). 순서를 반씩 섞은 덕분입니다. ③ 기간 효과를 −2 로 되돌리고 이월을 60%, 씻어내기를 0주로 두면 추정값이 −3.9(기댓값 −4.2)로 효과가 작아 보입니다. 편향 1.8 = 6 × 0.6 ÷ 2 입니다. ④ 씻어내기를 1, 2, 4주로 늘리면 남은 A 효과가 30%, 15%, 3.8% 로 줄고 추정값의 기댓값이 −5.1, −5.55, −5.89 로 −6 에 다가갑니다.

기간 효과는 지워지고 이월 효과는 남는 까닭

τ(타우)를 A 와 B 의 참 차이, 「기간」을 기간 2 에 모두에게 붙는 변화, 「이월」을 A 먼저 집단의 기간 2(B) 에 남은 A 효과라고 하면, 오차 없이 두 집단의 (A − B) 는 이렇습니다.

A 먼저 집단B 먼저 집단두 집단의 평균
A 때바탕 + τ바탕 + 기간 + τ
B 때바탕 + 기간 + 이월바탕
A − Bτ − 기간 − 이월τ + 기간τ − 이월 ÷ 2

기간 효과는 한 집단에서 빼기로, 다른 집단에서 더하기로 들어가 평균하면 지워집니다. 이월은 A 먼저 집단에만 있어서 절반이 남습니다. A 와 B 가 같은 방향의 효과라면 이월 때문에 효과가 실제보다 작아 보입니다. 사람마다의 바탕값은 A − B 를 낼 때 빠집니다.

이월은 자료로 가려내기 어렵습니다. 2×2 설계에서 이월은 치료와 기간이 얽혀 생기는 효과와 구별되지 않고, 이것을 재는 비교는 두 순서군을 비교하는 피험자 간 비교라서 피험자 간 변동을 그대로 안고 있어 힘이 약합니다(ICH E9 3.1.2). 그래서 이월은 자료로 확인하기보다 설계로 막습니다.

교차 설계를 쓸 수 있는 때쓸 수 없는 때
상태가 오래 안정적인 병(만성): 기간 1 과 기간 2 의 출발점이 같다낫고 끝나는 병(감염처럼): 첫 기간에 나으면 둘째 기간에 비교할 것이 없다
치료 효과가 기간 안에 다 나타나고, 끊으면 금방 사라진다효과가 오래 남는 치료(수술, 한 번 맞으면 오래가는 주사, 교육)
씻어내기 기간을 효과가 다 빠질 만큼 길게 둘 수 있다병이 빠르게 나빠지거나 좋아져서 기간마다 상태가 다르다
예: 생물학적 동등성 시험(같은 성분의 두 약이 몸 안에서 같은 양으로 도는지 비교)기간 사이에 빠지는 사람이 많을 것 같은 긴 시험

이 조건들은 ICH E9 의 교차 설계 절에 그대로 나옵니다: 병은 만성이고 안정적이어야 하고, 약의 효과는 치료 기간 안에 다 나타나야 하고, 씻어내기는 약의 효과가 완전히 되돌아갈 만큼 길어야 합니다.

8. 의사 반복: 닮은 값을 따로인 것처럼 세면

한 사람을 10번 재면 측정값은 10개지만, 그 10개는 같은 사람의 바탕값을 나눠 가져서 서로 닮았습니다. 이것을 10명을 한 번씩 잰 것처럼 분석하면 표준오차가 실제보다 작게 나오고 p값이 헛되이 작아집니다. 책에서는 이것을 의사 반복(가짜 반복, pseudoreplication)이라고 부릅니다.

두 집단에 처음부터 아무 차이도 없게 지어냈습니다(집단마다 5명, 피험자 간 표준편차 5, 피험자 내 표준편차 5). 「따로 셈」은 측정 5 × m 개씩을 서로 다른 사람처럼 웰치 t 검정에 넣고, 「사람 평균」은 사람마다 평균 낸 5개씩을 넣습니다. 두 분석은 같은 2,000개의 자료를 봅니다. 「다른 자료」는 왼쪽 그림의 자료만 바꿉니다.

해 볼 것. ① 처음(m = 10)에는 따로 세면 2,000번 가운데 836번(41.8%)이 p < 0.05 이고, 사람마다 평균 내면 88번(4.4%)입니다. 효과가 없으니 5% 근처가 맞는 값입니다. ② m 을 1 로 내리면 두 분석이 같아져 둘 다 5.0% 입니다. ③ m 을 20 으로 올리면 따로 센 쪽이 57.8% 까지 오릅니다. 재는 횟수를 늘릴수록 틀린 분석은 더 자주 속습니다. ④ 처음 그림의 자료는 따로 세면 p = 0.087, 사람 평균으로는 0.292 입니다. 「다른 자료」를 세 번 누르면 따로 세면 p = 0.005 인데 사람 평균으로는 0.307 입니다.

왜 그런가. 한 사람을 m 번 재서 평균 내면, 그 평균의 분산은 피험자 간 분산 + 피험자 내 분산 ÷ m 입니다. m 을 늘려도 줄어드는 것은 뒤쪽뿐이고, 피험자 간 분산은 사람 수를 늘려야만 줄어듭니다. 따로 센 분석은 두 몫이 모두 측정 수로 나뉘는 것처럼 계산해서 표준오차를 작게 냅니다. 얼마나 작게 내는지는 1 + (m − 1) × ICC 로 추정하고, 이것을 설계 효과라고 부릅니다. 이 실험은 ICC 가 0.5(피험자 간 5², 피험자 내 5²)라서 m = 10 이면 5.5, 곧 분산을 5.5 배, 표준오차를 √5.5 ≈ 2.3 배 작게 잡습니다.

재는 횟수가 아니라 사람 수가 표본 크기입니다. 여러 번 재는 것은 한 사람의 값을 더 정확하게 할 뿐입니다. 사람마다 평균을 내서 분석하거나, 사람을 군집으로 다루는 분석(9절의 혼합 모형)을 씁니다.

묶인 자료도 같은 문제입니다. 같은 병원의 환자들(병원마다 치료 방식과 환자층이 달라 서로 닮는다), 같은 사람의 두 눈, 한 동물에서 얻은 세포 여러 개, 같은 접시에서 기른 세포, 같은 반 학생들이 모두 그렇습니다. 「무엇을 무작위로 나눴나」가 분석의 단위입니다. 병원째로 치료를 나눴다면(군집 무작위 배정) 실제로 가진 정보는 환자 수보다 적고, 병원 안의 환자끼리 닮을수록 병원 수 쪽으로 줄어듭니다. 개발자에게 익숙한 예로, 한 사용자의 클릭 수천 번을 사용자 수천 명처럼 세는 A/B 시험 분석이 같은 잘못입니다.

9. 시점이 셋 이상이면, 그리고 빠진 자료

시점이 셋 이상이면(0, 4, 8, 12주) 대응 t 검정 하나로는 부족합니다. 흔히 쓰는 것이 둘입니다. 반복 측정 분산분석은 시점을 요인으로 두고 사람을 블록처럼 다뤄 피험자 간 변동을 떼어 냅니다(분산분석, 블록 설계). 시점 쌍마다 차이의 분산이 모두 같다는 가정(구형성)이 필요하고, 어긋나면 자유도를 줄여 보정합니다. 혼합 모형은 「사람마다 다른 바탕값을 따로 둔다」는 생각을 식에 그대로 넣습니다. 1절의 값 = 140 + 그 사람의 바탕값 차이 + 변화 + 오차 이 바로 그 꼴이고, 사람마다 기울기도 다르게 둘 수 있습니다. 시점이 사람마다 달라도, 중간에 빠진 값이 있어도 남은 값을 다 쓸 수 있습니다. 이 쪽은 혼합 모형의 생각만 보이고, 숫자를 추정하는 방법(최대 가능도 등)은 다루지 않습니다.

바탕값을 보정에 넣는 분석. 두 집단을 비교하는 시험에서 끝 값을 비교할 때 시작 값(바탕값)을 회귀식에 함께 넣는 방법을 공분산분석(ANCOVA)이라고 부릅니다(상관과 회귀). 무작위로 나눈 시험에서는 차이값(끝 − 시작)을 비교하거나 끝 값만 비교하는 것보다 대개 검정력이 크고, 바탕값과 끝 값의 상관이 아주 높으면 차이값 분석과의 차이는 작아집니다(Vickers, Altman).

빠진 자료. 여러 번 오게 하면 중간에 그만두는 사람이 생깁니다. 대응 t 검정은 두 값이 다 있는 사람만 쓰므로, 빠진 사람을 통째로 버립니다. 빠진 까닭이 결과와 상관없다면 사람이 줄어 덜 정밀해질 뿐이지만, 약이 듣지 않아 그만둔 사람이 많다면 남은 사람만 보는 분석은 약을 좋게 보이게 치우칩니다. 혼합 모형은 모형이 맞다면 빠진 까닭이 이미 잰 값들로 설명되는 경우까지는 남은 값으로 바르게 추정하지만, 잰 적 없는 것(빠진 뒤의 상태) 때문에 빠졌다면 어떤 분석도 자료만으로는 바로잡지 못합니다. 그래서 왜 빠졌는지를 기록하고, 빠짐을 줄이는 설계(짧은 기간, 적은 방문)를 먼저 합니다.

어디에 쓰나

자주 묻는 것

대응 t 검정과 독립 t 검정은 무엇으로 고르나요?

자료의 짜임으로 고릅니다. 같은 사람(또는 미리 짝지은 두 사람)을 두 번 쟀으면 대응 t 검정, 서로 다른 사람의 두 집단이면 독립 t 검정입니다. 두 분석을 다 해 보고 p값이 작은 쪽을 고르면 안 됩니다.

한 사람을 여러 번 재면 사람을 적게 모아도 되나요?

재는 횟수를 늘리면 한 사람의 값이 정확해질 뿐, 사람마다 다른 정도는 그대로입니다. 「사람들에게 효과가 있나」를 묻는다면 표본 크기는 사람 수입니다. 측정 1,000개가 10명에게서 나왔다면 표본은 10명입니다.

대응 분석은 늘 더 좋은가요?

같은 사람의 두 값이 닮았을 때(상관이 양수일 때) 좋습니다. 상관이 0 이면 덕을 볼 것이 없고 자유도만 줄며, 음수면 오히려 손해입니다. 그래도 짝이 있는 자료라면 짜임에 맞는 대응 분석을 씁니다.

교차 설계는 언제 쓸 수 없나요?

낫고 끝나는 병(첫 기간에 나으면 둘째 기간에 비교할 것이 없습니다), 효과가 오래 남는 치료, 병의 상태가 기간마다 크게 바뀌는 경우입니다. 이월 효과는 자료로 가려내기 어려워서, 설계할 때 넉넉한 씻어내기 기간으로 막습니다.

대응 분석의 p값이 0.002 면 약이 효과가 있을 확률이 99.8% 인가요?

아닙니다. p값은 「효과가 없다면 이만큼 또는 더 큰 차이가 우연히 나올 확률」입니다. 효과가 있을 확률도, 효과의 크기도 아닙니다. 크기는 평균 차이와 그 신뢰구간으로 봅니다. 한 집단의 전후 비교라면 내려간 것이 약 때문인지 시간 때문인지도 따로 따져야 합니다.

낱말

여기서 쓴 말책에서 부르는 말
같은 사람을 여러 번 재기반복 측정(repeated measures), 피험자 내 설계(within-subject design). 시간에 따라 재면 종단 자료(longitudinal data)
사람마다 선 하나로 이은 그림스파게티 그림(spaghetti plot), 개인별 궤적(individual profiles)
사람 사이 변동 / 사람 안 변동피험자 간 변동(between-subject variation) / 피험자 내 변동(within-subject variation)
같은 사람의 값이 닮은 정도급내 상관(intraclass correlation, ICC)
전후를 짝지어 비교대응 t 검정, 짝지은 t 검정(paired t-test)
두 집단을 서로 다른 사람으로 비교독립 두 표본 t 검정(independent two-sample t-test). 분산이 같다고 두지 않으면 웰치 t 검정(Welch's t-test)
평균 차이가 흔들리는 정도표준오차(standard error, SE)
모두가 두 치료를 차례로 받는 설계교차 설계(crossover design). 두 순서 × 두 기간이면 2×2 교차 설계(AB/BA)
A 먼저, B 먼저순서, 순서군(sequence)
사이에 쉬는 기간씻어내기 기간, 휴약기(washout period)
뒤 기간에 모두에게 붙는 변화기간 효과(period effect)
앞 치료의 효과가 뒤로 넘어옴이월 효과(carryover effect)
순서, 연습, 피로가 끼어듦순서 효과(order effect), 연습 효과(practice effect), 피로 효과(fatigue effect)
평균 쪽으로 돌아오는 것평균으로의 회귀(regression to the mean)
닮은 값을 따로인 것처럼 세기의사 반복(pseudoreplication)
분산을 몇 배 작게 잡았나설계 효과(design effect)
묶인 자료, 묶음째 나누기군집 자료(clustered data), 군집 무작위 배정(cluster randomization)
사람마다 바탕값을 따로 두는 모형혼합 모형, 혼합 효과 모형(mixed-effects model). 사람마다의 바탕값은 랜덤 절편(random intercept)
시점이 여럿일 때의 분산분석반복 측정 분산분석(repeated-measures ANOVA). 그 가정은 구형성(sphericity)
바탕값을 보정에 넣는 분석공분산분석(analysis of covariance, ANCOVA)
빠진 자료, 중간에 그만둠결측 자료(missing data), 중도 탈락(dropout)
같은 성분의 두 약 비교 시험생물학적 동등성 시험(bioequivalence study)

출처

← 공분산분석(ANCOVA)교란과 편향 →