임상시험 설계: 단계, 무작위 대조 시험, 중간 분석

새 치료가 정말 듣는지, 안전한지는 사람에게 써 봐야 압니다. 그런데 사람은 저마다 다르고, 좋아질 사람은 치료 없이도 좋아집니다. 임상시험이 이 문제를 설계로 어떻게 푸는지 지어낸 시험 하나를 움직여 보며 봅니다. 이 쪽은 시험이 어떻게 설계되는지 통계 개념만 설명합니다. 어떤 약이나 치료가 좋거나 나쁘다고 말하지 않고, 시험 참여를 권하지도 않습니다. 시험, 치료, 사람, 숫자는 모두 지어낸 것입니다.

한 줄 답. 임상시험은 새 치료가 안전하고 효과가 있는지를 사람에게서 확인하는 실험입니다. 안전성과 용량을 보는 작은 시험에서 시작해, 효과를 확인하는 큰 무작위 대조 시험으로 단계를 밟아 갑니다. 무엇을 잴지, 몇 명이 필요한지, 언제 들여다볼지를 시작하기 전에 정해 적어 두는 것이 핵심입니다.

  • 진짜 효과(끝까지 먹은 사람에게)
  • ITT 추정(배정받은 대로)
  • PP 추정(끝까지 따른 사람만)

흐름도의 칸을 누르면 그 단계의 설명과 사람 수가 나옵니다. 막대로 세 비율을 바꾸고, 「진짜 효과 없음」도 눌러 보세요. 아래 세 막대는 「8주 뒤 좋아진 사람의 비율」을 새 치료군과 대조군에서 뺀 차이입니다(막대 끝 +20%p). 이 장난감은 몇 가지를 지어내 정했습니다. 몸이 약한 사람이 30% 이고, 치료 없이 좋아질 확률은 튼튼한 사람 40%, 몸이 약한 사람 10% 입니다. 약을 먹은 사람은 누구나 좋아질 확률이 10%p 오릅니다. 약을 끊는 사람은 몸이 약한 사람부터 나오고, 연락이 끊기는 사람은 무작위로 빠집니다. 사람 수는 우연의 흔들림을 뺀 평균으로 셉니다.

1. 임상시험: 사람에게서 하는 실험

임상시험은 사람을 대상으로, 미리 정한 계획에 따라 치료(약, 수술, 기기, 생활 습관 바꾸기 등)의 효과와 안전성을 확인하는 연구입니다. 세포나 동물에서 듣던 것이 사람에게서는 안 듣거나 뜻밖의 해를 끼칠 수 있어서, 결국 사람에게서 확인해야 합니다.

그런데 「치료한 사람이 좋아졌다」만으로는 치료 덕분인지 알 수 없습니다. 치료 없이도 좋아질 까닭이 많기 때문입니다.

그래서 임상시험은 「치료 전과 후」가 아니라 「같은 때, 같은 조건에서 치료를 받은 군과 받지 않은 군」을 비교합니다. 사람들이 스스로 고른 치료를 지켜보기만 하는 연구를 관찰 연구, 연구자가 누가 무엇을 받을지 정하는 연구를 실험이라고 하고, 임상시험은 실험입니다.

2. 왜 무작위 대조 시험이 기준인가

대조군이 있어야 저절로 좋아진 몫을 뺄 수 있습니다. 그런데 누구를 어느 군에 넣을지를 의사가 고르면, 뜻하지 않아도 더 건강해 보이는 사람을 새 치료 쪽에 넣기 쉽습니다. 그러면 끝에 생긴 차이가 치료 때문인지 처음부터 달랐던 사람들 때문인지 가릴 수 없습니다.

무작위 배정은 컴퓨터의 제비뽑기로 군을 나누는 것입니다. 제비뽑기는 사람을 보지 않으므로, 나이와 병의 정도처럼 아는 것뿐 아니라 아무도 모르는 것까지 두 군에 평균적으로 고르게 나뉩니다(무작위 배정과 대조군). 그러면 끝에 남는 차이는 치료 때문이거나 우연 때문이고, 우연의 몫은 p값과 신뢰구간으로 잴 수 있습니다. 이것이 무작위 대조 시험(RCT)을 효과를 보이는 기준으로 삼는 까닭입니다.

무작위 배정이 제 몫을 하려면 둘이 더 필요합니다.

대조군도 여러 가지입니다.

대조군무엇을 받나언제 쓰나 · 주의
위약겉모양이 같지만 약 성분이 없는 것눈가림을 하기 쉽고, 효과를 가장 깨끗하게 보인다. 이미 효과가 확인된 치료가 있어 그것을 쓰지 않으면 해가 생길 수 있는 병에서는 쓰기 어렵다
기존 치료(활성 대조)지금 쓰는 표준 치료「새 것이 지금 것보다 나은가, 못하지 않은가」를 묻는다(11절). 기존 치료가 이 시험에서도 제대로 들었는지는 따로 확인할 수 없다
치료 없음아무것도 받지 않음눈가림이 어렵다
다른 양같은 약의 다른 양양이 늘수록 효과가 커지는지를 본다(2상에 흔하다)

대조군을 고르는 일과 그 장단점은 ICH 의 E10 지침에 정리되어 있습니다.

3. 시험 하나의 흐름: 선별에서 분석까지

맨 위 실험의 흐름도는 시험 보고서에 들어가는 그림의 꼴을 줄인 것입니다. 임상시험 보고 지침인 CONSORT 는 이 흐름도(선별 → 배정 → 추적 → 분석)를 단계마다의 사람 수와 빠진 까닭과 함께 싣도록 권합니다. 사람이 빠지는 곳은 셋입니다.

어디서무엇비교에 주는 영향
배정 전 제외조건에 맞지 않거나 동의하지 않음두 군을 치우치게 하지 않는다. 결과가 들어맞는 사람의 범위(일반화)가 좁아진다
추적 중 빠짐연락이 끊겨 결과를 모름빠지는 까닭이 결과와 얽혀 있으면(나빠진 사람이 더 빠지면) 치우친다. 이 장난감에서는 무작위로 빠진다고 둬서 사람 수만 준다
치료를 따르지 않음약을 끊거나 덜 먹음. 결과는 안다분석에서 이 사람들을 어떻게 세느냐에 따라 답이 달라진다(아래)

치료를 끝까지 따르지 않은 사람을 세는 방법이 둘입니다.

손으로 따라가기

맨 위 실험의 처음 값입니다. 1,000명을 선별해 40% 인 400명이 빠지고, 600명을 300명씩 나눕니다. 군마다 20% 인 60명이 연락이 끊겨 240명씩 결과를 압니다. 새 치료군의 240명 가운데 25% 인 60명이 약을 끊습니다.

  1. 대조군. 튼튼한 사람 70% 는 40%, 몸이 약한 사람 30% 는 10% 가 좋아집니다. 0.7 × 40% + 0.3 × 10% = 28% + 3% = 31%.
  2. 새 치료군을 세 몫으로. 튼튼하고 약을 먹은 70% 는 40% + 10% = 50%. 몸이 약하고 끝까지 먹은 5%(30% 가운데 25% 가 끊었다)는 10% + 10% = 20%. 몸이 약하고 약을 끊은 25% 는 효과가 없어 10%.
  3. ITT. 세 몫을 모두 셉니다. 0.70 × 50% + 0.05 × 20% + 0.25 × 10% = 35% + 1% + 2.5% = 38.5%. 차이는 38.5% − 31% = +7.5%p.
  4. PP. 끊은 25% 를 빼고 남은 75% 안에서 셉니다. (35% + 1%) ÷ 0.75 = 48%. 차이는 48% − 31% = +17.0%p.
  5. 비교. 약을 먹은 사람에게 생기는 진짜 효과는 +10%p 입니다. ITT 는 약을 끊은 사람 몫만큼 작게(+7.5%p), PP 는 크게(+17.0%p) 나왔습니다. PP 가 큰 까닭은 좋아질 확률이 낮은 몸이 약한 사람들이 새 치료군에서만 빠져, 남은 새 치료군이 처음부터 더 튼튼해졌기 때문입니다.

해 볼 것. ① 처음 값에서 흐름도는 1,000 → 제외 400 → 배정 600 → 300명씩 → 빠짐 60명씩 → 분석 240명씩이고, 새 치료군의 PP 는 180명입니다. 좋아진 비율은 대조 31.0%, ITT 38.5%, PP 48.0%, 차이는 ITT +7.5%p, PP +17.0%p 입니다. ② 「진짜 효과 없음」을 누르면 ITT 는 +0.0%p 인데 PP 는 +7.0%p 입니다. 아무 일도 하지 않는 치료가 PP 로는 나아 보입니다. ③ 효과를 +10%p 로 두고 끝까지 따르지 않는 비율을 0% 로 내리면 ITT 와 PP 가 모두 +10.0%p 로 같아집니다. ④ 그 비율을 50% 로 올리면 ITT 는 +5.0%p 로 더 작아지고 PP 는 +19.0%p 로 더 커집니다. ⑤ 중간에 빠지는 비율을 40% 로 올리면 분석하는 사람이 180명씩으로 줄지만 비율과 차이는 그대로입니다. 이 장난감에서는 무작위로 빠지기 때문입니다. 사람 수가 줄면 우연의 흔들림이 커지는데, 이 그림은 평균만 보여 줍니다.

이렇게 읽으면 틀린다. 「PP 가 약을 제대로 먹었을 때의 진짜 효과다」는 틀립니다. 위 예에서 진짜 효과는 +10%p 인데 PP 는 +17.0%p, 효과가 없을 때도 +7.0%p 였습니다. 끝까지 따르는 사람은 무작위로 정해지지 않습니다.

「ITT 는 효과를 줄여 보이니 틀린 방법이다」도 틀립니다. ITT 는 다른 질문, 곧 「이 치료를 하기로 했을 때」의 효과에 답하고, 무작위의 보호를 지킵니다. 그래서 효과를 보이려는 시험은 보통 ITT 를 주된 분석으로 삼고(ICH E9), 다른 분석을 곁들여 결론이 흔들리지 않는지 봅니다. 다만 「새 치료가 못하지 않다」를 보이는 비열등성 시험에서는 ITT 가 차이를 0 쪽으로 줄여 결론을 쉽게 만들 수 있어 PP 도 함께 무게 있게 봅니다(11절).

실제 시험은 결과를 모르는 사람(위의 빠진 60명씩)을 어떻게 다룰지, 약을 끊은 뒤의 결과를 무엇으로 볼지까지 시작 전에 정해 둡니다. ICH E9 의 보충 지침 E9(R1)은 이것을 「무엇을 추정하려는지(추정 대상)를 먼저 분명히 하라」로 정리했습니다.

4. 단계: 1상에서 4상까지

새 치료는 한 번의 큰 시험으로 확인하지 않습니다. 모르는 위험을 적은 사람에게만 지우도록 작은 시험부터 시작해, 앞 단계가 괜찮을 때 다음 단계로 갑니다. 아래 줄을 누르면 단계마다 묻는 것과 재는 것이 나옵니다.

단계의 사람 수는 어림 범위일 뿐 정해진 숫자가 아닙니다. 병과 치료의 종류에 따라 크게 다릅니다. 예를 들어 미국 국립암연구소의 안내는 암 치료 시험에서 1상을 약 15~30명, 2상을 50~100명, 3상을 100명에서 수천 명으로 적습니다. 빈도와 n 은 숫자 칸에 적거나 막대로 바꾸고, 그림을 끌어 n 을 옮길 수도 있습니다.

1상은 대개 치료가 듣는지를 가리려고 만든 시험이 아닙니다. 사람이 적고 대조군이 없거나 작아서, 효과의 크기를 말할 수 없습니다. 효과는 3상의 무작위 대조 시험이 확인합니다. 그런데 3상에서 효과를 확인해도, 드문 부작용은 시판 뒤에야 보이는 일이 많습니다. 숫자로 보면 까닭이 바로 보입니다. 빈도가 p 인 부작용을 n 명 가운데 한 번이라도 볼 확률은 이렇습니다.

한 번이라도 볼 확률 = 1 − (1 − p)^n

(1 − p)^n 은 n 명 모두에게 그 일이 일어나지 않을 확률입니다. p 가 1만 명에 1명(0.0001)이고 n 이 3,000명이면 1 − 0.9999^3000 = 0.259, 넷 가운데 셋은 한 건도 보지 못합니다.

거꾸로, n 명에서 한 건도 나오지 않았을 때 말할 수 있는 것이 3의 법칙입니다. 0건이면 빈도의 95% 위쪽 한계는 약 3 ÷ n 입니다. (1 − p)^n = 0.05 를 풀면 p ≈ −ln(0.05) ÷ n = 2.996 ÷ n 이기 때문입니다. 3,000명 시험에서 0건이면 「빈도는 아마 1,000명에 1명보다 낮다」까지 말할 수 있고, 그보다 드문 부작용에 대해서는 아무것도 말하지 못합니다. n 이 30명쯤보다 작으면 이 근사가 거칠어집니다(n = 30 이면 정확한 값은 0.095, 3 ÷ 30 = 0.1).

해 볼 것. ① 처음(1만 명에 1명, n = 3,000)에는 한 번이라도 볼 확률이 25.9% 입니다. 95% 에 닿으려면 29,956명이 필요하고, 3 ÷ 빈도 = 30,000명과 거의 같습니다. ② 「3상」 줄을 누르면 어림 규모 300~5,000명에서 이 부작용을 볼 확률이 3.0% ~ 39.3% 라고 나옵니다. 「4상」 줄은 25.9% ~ 100.0% 입니다. ③ n 을 30,000 으로 올리면 95.0% 입니다. ④ 빈도를 1,000명에 1명으로 바꾸면 n = 3,000 에서 95.0% 입니다. 1,000배 흔한 부작용이 아니라 10배만 흔해도 3상에서 거의 늘 보입니다. ⑤ 설명 줄 셋째 줄이 3의 법칙입니다. n = 3,000 이면 3 ÷ 3000 = 0.001, 곧 1,000명에 1명입니다.

5. 시작하기 전에 적어 둔다: 계획서와 사전 등록

시험을 시작하기 전에 계획서(프로토콜)를 씁니다. 묻는 질문, 들어올 사람의 조건, 치료와 대조, 일차 평가 변수, 필요한 사람 수와 그 근거, 배정과 눈가림의 방법, 중간 분석을 언제 어떤 기준으로 할지, 그리고 분석 방법입니다. 분석 방법은 더 자세한 통계 분석 계획서로 따로 적기도 합니다.

그리고 계획의 요점을 공개 등록처에 먼저 올립니다(미국의 ClinicalTrials.gov, 세계보건기구의 국제 임상시험 등록 플랫폼에 이어진 나라별 등록처). 결과가 나오기 전에 무엇을 할지 공개해 두면 세 가지를 막을 수 있습니다.

이렇게 읽으면 틀린다. 「결과를 본 뒤 가장 좋은 지표를 골라도 그 지표의 p 가 0.05 보다 작으면 괜찮다」는 틀립니다. 고르는 순간 여러 번 검정한 셈이 되어 p값의 뜻이 무너집니다(다중 비교). 등록 기록과 논문의 일차 평가 변수가 같은지 보는 까닭입니다.

6. 무엇을 잴까: 일차 평가 변수와 대리 평가 변수

시험에서 잰 결과를 평가 변수라고 합니다. 그 가운데 시험의 결론을 정하는 것을 일차 평가 변수(primary endpoint)라고 하고, 대개 하나만 둡니다(ICH E9). 나머지는 이차 평가 변수(secondary endpoint)로, 결과를 뒷받침하거나 다음 연구의 실마리가 됩니다. 판정에 쓰는 검정이 하나면 1종 오류를 범할 확률이 정한 α 그대로이기 때문입니다.

평가 변수들이 서로 독립이라고 보고 1 − 0.95^k 로 셈한 값입니다. 실제 평가 변수들은 서로 얽혀 있어(혈압과 심장 박동처럼) 이보다 조금 낮지만, 늘어난다는 것은 같습니다.

해 볼 것. ① 1개면 5.0% 입니다. ② 처음 값 5개면 22.6%, 10개면 40.1% 입니다. ③ 14개에서 51.2% 로 처음 절반을 넘습니다(13개는 48.7%). 효과가 전혀 없는 치료도 지표 14개를 재면 「어디선가 유의함」이 나올 가능성이 더 큽니다. ④ 20개면 64.2% 입니다.

대리 평가 변수(surrogate endpoint)는 진짜 결과(사망, 발병, 삶의 질) 대신 재는, 더 빨리 더 적은 사람으로 잴 수 있는 값입니다. 혈압, 혈액 수치, 종양의 크기 같은 것입니다. 진짜 결과를 기다리려면 수천 명을 몇 년 지켜봐야 하는데 대리 평가 변수는 몇 주 만에 잴 수 있어, 시험이 짧고 작아지는 이점이 있습니다.

위험은 수치가 좋아져도 진짜 결과는 그대로이거나 나빠질 수 있다는 것입니다. 치료가 수치를 바꾸는 길과 병이 생기는 길이 다를 수 있고, 치료가 다른 곳에 해를 끼쳐 좋아진 몫을 지울 수도 있습니다. 아래는 지어낸 예입니다.

지어낸 새 치료가 혈액 수치 X 를 160 에서 120 으로 25% 낮췄습니다. X 가 높은 사람이 병에 잘 걸린다는 관찰이 있어 X 를 대리 평가 변수로 썼습니다. 그런데 3년을 지켜보니 병이 생긴 사람은 두 군 모두 12% 였습니다. X 는 병과 함께 움직이는 표지였을 뿐, 그것을 낮춘다고 병이 줄지는 않았던 것입니다. 그래서 대리 평가 변수로 시험을 줄이려면 그 지표를 바꾸면 진짜 결과도 바뀐다는 근거가 있어야 합니다(Fleming, DeMets 1996). 대리 평가 변수로 먼저 판단한 뒤 진짜 결과를 확인하는 시험을 따로 하게 하는 제도도 있습니다.

7. 몇 명이 필요한가

사람 수는 계획서에서 정합니다. 너무 적으면 있는 효과를 놓치고, 너무 많으면 필요 이상의 사람이 시험의 부담을 집니다. 계산에는 넷을 미리 정합니다. 잡고 싶은 가장 작은 효과, 결과의 표준편차(비율이면 대조군의 비율), 유의수준 α, 그리고 효과가 있을 때 잡아낼 확률인 검정력입니다(1종·2종 오류와 검정력, 표본 크기 계산).

두 비율을 비교할 때 흔히 쓰는 정규 근사의 식은 이렇습니다. p₁, p₂ 는 두 군의 비율, p̄ 는 그 평균, z(α/2) 는 1.960(α 0.05 양쪽), z(β) 는 0.842(검정력 80%)입니다.

군마다 n = (z(α/2) × √(2p̄(1 − p̄)) + z(β) × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₁ − p₂)²

맨 위 실험의 ITT 차이(대조 31%, 새 치료 38.5%, 7.5%p)를 80% 로 잡으려면 군마다 632명이 필요합니다. 20% 가 빠질 것을 생각하면 632 ÷ 0.8 = 790 명씩 모아야 합니다. 맨 위의 지어낸 시험은 분석이 240명씩이라, 이 차이를 잡아낼 확률(검정력)이 약 41% 뿐입니다. 계획할 때 효과를 PP 의 17%p 처럼 크게 잡으면 129명씩이면 된다고 나와, 실제(ITT) 효과에 비해 크게 모자란 시험이 됩니다. 효과를 부풀려 잡으면 작은 시험이 됩니다.

8. 효과를 적는 지표

같은 결과도 여러 숫자로 적을 수 있고, 어떤 숫자로 적느냐에 따라 크기가 달라 보입니다. 지어낸 예로 봅니다. 3년 안에 병이 생긴 사람이 대조군 10%, 새 치료군 8% 입니다.

지표식이 예에서읽는 법
위험 차이(절대 차이)p새 − p대조8% − 10% = −2%p100명에 2명꼴로 덜 생긴다
상대위험도p새 ÷ p대조8 ÷ 10 = 0.8대조의 0.8배. 「20% 줄었다」(상대 위험 감소)
치료 필요 수(NNT)1 ÷ |위험 차이|1 ÷ 0.02 = 5050명을 치료하면 평균 1명이 병을 피한다
오즈비(p새 ÷ (1 − p새)) ÷ (p대조 ÷ (1 − p대조))0.087 ÷ 0.111 = 0.78일이 드물면 상대위험도와 비슷하다(오즈비와 상대위험도)
위험비두 군에서 사건이 일어나는 빠르기의 비(시간 자료가 있어야 한다)「언제」 일어났는지까지 쓴다. 0.8 이면 어느 때든 새 치료 쪽의 빠르기가 0.8배라고 보는 셈이다(비례 위험 가정, 생존 분석)

이렇게 읽으면 틀린다. 「위험을 20% 줄였다」만 보고 효과가 크다고 읽으면 틀리기 쉽습니다. 처음 위험이 10% 면 절대 차이는 2%p 이고, 처음 위험이 0.1% 라면 같은 20% 가 1만 명에 2명입니다. 상대 수치와 절대 수치를 함께, 신뢰구간과 같이 봅니다. CONSORT 도 이분형 결과는 절대 효과와 상대 효과를 함께 적기를 권합니다.

9. 식이 만들어지는 과정: 중간에 들여다볼 때의 기준

시험 도중에 쌓인 자료를 들여다보는 일(중간 분석)은 흔하고 필요합니다. 새 치료가 해롭거나 너무 뚜렷하게 좋으면 일찍 멈춰야 하기 때문입니다. 그런데 볼 때마다 「차이 있다」고 판정할 기회가 한 번씩 더 생깁니다. 효과가 없는 시험에서 그 기회들이 쌓이면 1종 오류를 범할 확률이 어떻게 되는지, 그리고 전체를 5% 로 묶는 기준이 어떻게 만들어지는지를 한 단계씩 봅니다.

여기서 z 는 「두 군의 차이 ÷ 그 차이의 표준오차」입니다(가설검정과 p값). 효과가 없으면 z 는 0 둘레에서 표준정규분포를 따르고, |z| ≥ 1.96 일 확률이 5% 입니다. z(p) 는 표준정규분포에서 오른쪽 꼬리의 넓이가 p 인 자리입니다. 보는 때는 사람이 같은 몫씩 모일 때(K 번 보면 1/K, 2/K, …, 1)로 둡니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 바뀌고, 아래에 까닭이 나옵니다. 위 그림의 40줄은 고정 시드(seed)로 지어낸 것이라 늘 같습니다. 실제 판정은 세로선(보는 때)에서만 하고, 점선은 기준의 모양을 이어 그린 것입니다. 아래 그림의 점은 지어낸 시험 2만 번에서 센 비율, 선은 컴퓨터가 수치 적분으로 셈한 값입니다.

  1. 끝에서 한 번만: P(|z| ≥ 1.96) = 5%. 효과가 없으면 z 는 표준정규분포를 따르므로 양쪽 꼬리의 넓이가 5% 입니다. 이것이 보통의 검정입니다.
  2. 반에서 한 번 더: P(|z₁| ≥ 1.96 또는 |z₂| ≥ 1.96) = 8.3%. 「또는」이 붙으면 확률은 커집니다. 끝에서는 넘지 않았을 길이 중간에 넘기도 하기 때문입니다. 두 보기는 같은 사람들의 자료를 나눠 가져서 서로 닮았으므로, 두 배인 10% 까지는 오르지 않습니다.
  3. K 번: P(K 번 가운데 한 번이라도 |zₖ| ≥ 1.96). 보는 횟수가 늘수록 계속 오릅니다. K = 5 면 14.2%, K = 10 이면 19.3% 입니다. 이 문제를 다룬 고전 논문이 Armitage, McPherson, Rowe(1969)입니다. 끝없이 보면 효과가 없는 시험도 언젠가는 반드시 넘습니다.
  4. 똑같이 나누기: |zₖ| ≥ z(0.05 ÷ 2K). 볼 때마다 α 를 K 로 나눈 기준을 쓰면(본페로니), 한 번이라도 넘을 확률은 각 확률의 합인 5% 를 넘지 못합니다. 실제로는 보기들이 서로 닮아 5% 보다 꽤 낮습니다. 끝에서도 기준이 엄해 검정력을 잃습니다.
  5. 처음엔 엄하게: |zₖ| ≥ c × √(K ÷ k). 자료가 적은 처음에는 아주 큰 차이만 받아들이고, 자료가 다 모인 끝에서는 1.96 가까이 둡니다. c 는 전체가 5% 가 되게 고른 수입니다(K = 5 면 2.040). 이 꼴은 오브라이언과 플레밍(1979)의 방법에서 왔습니다. c 를 정확히 구하는 계산(여러 번 보는 확률의 수치 적분)은 이 쪽에서 다루지 않고, 컴퓨터가 맞춘 값을 시뮬레이션으로 확인합니다.

해 볼 것. ① 1단계에서는 40줄 가운데 2줄이 끝에서 기준을 넘었고, 2만 번 해 보면 4.86% 입니다. ② 2단계는 수치 계산 8.3%, 2만 번 8.45%, 그림에서는 3줄입니다. ③ 3단계에서 K = 5 면 14.2%(2만 번 14.15%, 그림 6줄), K 를 10 으로 올리면 19.3%(2만 번 19.71%, 그림 7줄)입니다. ④ 4단계(본페로니, K = 5)는 볼 때마다 |z| ≥ 2.576 이고 전체 3.3%(2만 번 3.36%), 그림에서는 1줄만 넘습니다. ⑤ 5단계(K = 5)의 기준은 4.56, 3.23, 2.63, 2.28, 2.04 이고 전체는 5.0%(2만 번 5.14%), 그림에서는 2줄입니다. K 를 10 으로 올리면 c = 2.087, 첫 기준이 6.60(그림 밖)이고 끝 기준은 2.09, 2만 번 5.17% 입니다. 아래 그림에서 초록 선은 K 가 늘어도 5% 에 머물고, 주황 선만 오릅니다.

끝 기준이 1.96 보다 조금 엄해지는 것(K = 5 에서 2.04)이 여러 번 들여다보는 값입니다. 그 대신 효과가 뚜렷하면 일찍 멈출 수 있습니다. 볼 때마다 같은 기준을 쓰되 1.96 보다 올려 전체를 5% 로 맞추는 방법(포콕, 1977)도 있습니다. 처음에 덜 엄한 대신 끝 기준이 꽤 엄해집니다. 보는 때를 미리 다 정하기 어려우면, 자료가 모인 몫에 따라 α 를 얼마나 써도 되는지를 함수로 정해 두는 방법(Lan, DeMets 1983, 알파 소비 함수)을 씁니다.

10. 중간 분석과 독립적인 감시 위원회

중간 결과는 시험을 하는 사람들이 직접 보지 않습니다. 시험과 이해관계가 없는 임상의와 통계학자로 이루어진 독립 자료 감시 위원회가 배정을 아는 채로 중간 결과와 부작용을 보고, 미리 정한 규칙에 따라 「계속」, 「멈춤」, 「고침」을 권합니다. 시험을 하는 사람들은 그동안 눈가림을 지킵니다. 중간 결과를 알면 등록, 치료, 판정이 흔들릴 수 있기 때문입니다(ICH E9 4.5~4.6절).

멈추는 까닭은 보통 셋입니다. 효과가 뚜렷해 경계를 넘었을 때, 해로움이 보일 때, 끝까지 가도 효과를 보일 가망이 없을 때(무익)입니다.

일찍 멈춘 시험은 효과가 부풀려 보이기 쉽습니다. 효과가 정말 있어도 중간의 z 값은 우연히 위아래로 흔들립니다. 처음의 엄한 경계를 넘는 것은 대개 우연히 크게 흔들린 때입니다. 그 순간에 멈추고 효과를 적으면 참값보다 큰 쪽이 기록됩니다. 자료가 적은 이른 때일수록 흔들림이 커서 더 부풀려집니다. 유의하게 나온 작은 연구의 효과가 부풀려지는 것과 같은 까닭입니다(검정력 쪽의 「검정력이 낮은 연구의 문제」). Bassler 등(2010)은 이익 때문에 일찍 멈춘 시험들이 같은 질문의 끝까지 간 시험들보다 효과를 크게 보고하는 경향을 모아 보였습니다.

이렇게 읽으면 틀린다. 「일찍 멈출 만큼 효과가 컸으니 그 크기를 그대로 믿어도 된다」는 틀립니다. 멈춘 것은 효과가 「있다」는 근거이지, 그때 잰 크기가 맞다는 근거가 아닙니다. 사건 수가 적을 때 멈춘 시험은 특히 조심해서 읽습니다.

11. 설계 고르기: 우월성, 비열등성, 동등성

시험이 묻는 질문에 따라 결론을 내리는 규칙이 다릅니다. 새 치료와 기존 치료의 차이(새 − 기존, 클수록 새 것이 좋음)에 대한 95% 신뢰구간이 어디에 걸치느냐로 봅니다.

우월성: 새 치료가 더 나은가?
비열등성: −M 보다 더 나쁘지는 않은가?
동등성: 차이가 −M 과 +M 사이인가?

그림을 누르거나 끌면 구간이 옮겨 갑니다(0.5 단위). 숫자 칸과 막대로도 바꿀 수 있습니다. 구간의 끝이 한계선에 딱 닿으면 「보이지 못했다」로 판정합니다. 구간과 숫자는 지어낸 것입니다.

해 볼 것. ① 처음 구간 −2 ~ 6(M = 5)은 우월성 ×, 비열등성 ○, 동등성 × 입니다. 같은 구간도 무엇을 물었느냐에 따라 결론이 다릅니다. ② 「더 낫다」(2 ~ 6)는 우월성 ○, 비열등성 ○ 이지만 오른쪽 끝 6 이 +M 밖이라 동등성은 × 입니다. ③ 「동등」(−1.5 ~ 2.5)은 우월성 × 인데 동등성 ○ 입니다. ④ 처음 값에서 M 을 2 로 줄이면 왼쪽 끝 −2 가 −M 에 닿아 비열등성도 × 가 됩니다. 비열등성 한계를 얼마로 잡느냐가 결론을 바꾸므로, M 은 시험 전에 근거와 함께 정합니다(ICH E9). ⑤ 처음 값에서 반폭을 8 로 넓히면(사람이 적은 시험) 세 질문 모두 × 입니다.

비열등성 시험에는 함정이 있습니다. 시험을 엉성하게 하면(치료를 잘 안 따르거나, 진단이 흐릿하거나, 빠진 사람이 많으면) 두 군이 서로 닮아 보여 차이가 0 쪽으로 줄어들고, 「못하지 않다」는 결론이 오히려 쉬워집니다. 우월성 시험에서는 엉성함이 결론을 어렵게 하는 것과 반대입니다. 그래서 ICH E9 은 비열등성·동등성 시험이 「본디 보수적이지 않다」고 적고, 분석 집합을 고를 때 특히 조심하라고 합니다.

사람을 어떻게 나누고 무엇을 비교하느냐에 따른 설계도 여럿입니다.

설계어떻게좋은 점 · 주의
병행 설계사람마다 한 군에 배정되어 끝까지 그 치료만 받는다가장 흔하고 단순하다. 사람 사이의 차이가 비교에 그대로 들어가 사람이 많이 든다
교차 설계같은 사람이 차례를 바꿔 두 치료를 모두 받는다(반복 측정과 교차 설계)사람 사이의 차이가 빠져 적은 사람으로 된다. 앞 치료의 효과가 남지 않고 병이 안정된 경우에만 쓴다
요인 설계두 치료 A, B 를 「A만, B만, 둘 다, 둘 다 아님」으로 나눈다(요인 설계와 교호작용)한 시험으로 두 질문에 답한다. A 와 B 가 서로의 효과를 바꾸면(교호작용) 해석이 어렵다
군집 무작위 설계사람 대신 병원, 마을, 학교를 통째로 배정한다개인별로 나누면 서로 섞이는 치료(교육, 운영 방식)에 쓴다. 같은 군집의 사람끼리 닮아 같은 사람 수에서도 정보가 적다

12. 결과를 읽을 때: 하위군, 유의함과 의미 있음

하위군 분석은 나이, 성별, 병의 정도 같은 기준으로 사람을 쪼개 효과를 따로 보는 것입니다. 쪼갤수록 검정이 늘어, 효과가 모두에게 같아도 우연히 「이 하위군에서만 듣는다」나 「이 하위군에서는 안 듣는다」가 나옵니다(다중 비교). 그래서 하위군마다 p값을 따로 보지 않고, 「효과가 하위군에 따라 다른가」(교호작용)를 한 번에 검정합니다. 미리 정한 몇 개만 무게 있게 보고, 나머지는 다음 시험에서 확인할 가설로 둡니다(ICH E9 5.7절).

통계적으로 유의하다는 것은 「차이가 0 이라고 보기 어렵다」는 뜻일 뿐, 차이가 크거나 쓸모 있다는 뜻이 아닙니다. 수만 명의 시험에서는 혈압 0.5 mmHg 같은 아주 작은 차이도 유의하게 나옵니다. 그 차이가 사람에게 의미 있는지는 그 분야가 미리 정한 「의미 있다고 볼 가장 작은 차이」와 비교해 판단합니다. 그래서 효과의 크기와 신뢰구간을 같이 봅니다. 구간 전체가 그 기준보다 크면 의미 있는 효과, 구간이 0 을 넘었지만 기준에 못 미치면 「있지만 작은」 효과입니다.

이렇게 읽으면 틀린다. 「p 가 작을수록 효과가 크다」는 틀립니다. p 는 효과의 크기와 사람 수가 함께 정합니다. 사람이 많으면 작은 효과도 p 가 아주 작습니다. 「유의하지 않으니 효과가 없다」도 틀립니다. 사람이 적어 놓쳤을 수 있습니다(검정력).

13. 윤리의 기본

임상시험은 사람에게 아직 확인되지 않은 것을 시험하는 일이라, 설계보다 먼저 지켜야 하는 것이 있습니다. 참가자는 목적, 위험, 다른 선택지를 알아듣게 설명받은 뒤 스스로 동의하고, 언제든 까닭을 말하지 않고 그만둘 수 있어야 합니다. 시험을 시작하기 전에 독립된 윤리 심의 위원회가 계획을 검토하고, 위험은 줄이고 얻을 것과 비교해 정당한지 봅니다. 시험 중에는 감시 위원회가 참가자의 안전을 지켜보고, 개인 정보는 보호합니다. 무작위로 나누는 것이 정당하려면 어느 쪽이 나은지 정말 모르는 상태여야 합니다. 이런 원칙은 세계의사회의 헬싱키 선언 같은 문서에 정리되어 있습니다. 이 쪽은 이 원칙들을 소개할 뿐이고, 실제 시험의 참여는 그 시험의 설명과 의료진의 상담으로 판단할 일입니다.

14. 꼭 알아야 할 성질

성질쉬운 말실험에서
무작위 배정은 비교를 공정하게 만든다아는 것과 모르는 것이 평균적으로 두 군에 고르게 나뉜다. 남는 차이는 치료나 우연이다2절
ITT 는 무작위의 보호를 지키고, PP 는 깬다배정 뒤에 생긴 일로 사람을 고르면 두 군이 더는 닮지 않는다맨 위 실험, 「진짜 효과 없음」
계속 들여다보면 1종 오류가 는다매번 1.96 이면 K = 5 에서 14.2%. 미리 정한 경계로 전체를 5% 에 묶는다9절
0건은 「없다」가 아니다n 명에서 0건이면 빈도는 약 3 ÷ n 보다 낮다는 것까지만 말한다4절
같은 구간도 질문에 따라 결론이 다르다우월성, 비열등성, 동등성은 신뢰구간을 다른 선과 비교한다11절

15. 논문을 읽을 때 볼 것

CONSORT 는 이런 항목을 시험 보고서에 빠짐없이 적도록 체크리스트로 정리한 것입니다. 2010년 판이 오래 쓰였고, 2025년에 고친 판이 나왔습니다.

어디에 쓰나

자주 묻는 것

임상시험의 1상, 2상, 3상, 4상은 무엇이 다른가요?

1상은 사람에게 안전한지와 얼마까지 줄 수 있는지를 적은 사람에게서 봅니다. 2상은 들을 기미가 있는지와 알맞은 양을 봅니다. 3상은 위약이나 기존 치료와 비교하는 큰 무작위 대조 시험으로 효과를 확인합니다. 시판 뒤의 4상은 많은 사람이 오래 쓸 때의 드문 부작용을 봅니다. 단계마다의 사람 수는 분야마다 크게 다른 어림일 뿐입니다.

왜 무작위 대조 시험을 가장 믿을 만하다고 하나요?

무작위로 나누면 나이, 병의 정도처럼 아는 것뿐 아니라 모르는 것까지 두 군에 평균적으로 고르게 나뉩니다. 그래서 끝에 생긴 차이를 치료의 탓이나 우연의 탓으로 좁힐 수 있고, 우연의 몫은 통계로 잴 수 있습니다. 배정 은폐와 눈가림이 함께 있어야 이 장점이 지켜집니다.

ITT 와 PP 는 무엇이 다른가요?

ITT(치료 의향 분석, 배정받은 대로)는 치료를 끝까지 따르지 않은 사람도 처음 배정된 군으로 셉니다. PP(계획서 순응 분석, 끝까지 따른 사람만)는 따르지 않은 사람을 뺍니다. 치료를 그만두는 사람은 무작위로 생기지 않아서, 빼고 나면 두 군이 더는 닮지 않습니다. 이 쪽의 지어낸 예에서는 새 치료에 효과가 없는데도 PP 가 +7.0%p 의 차이를 보였습니다. 그래서 효과를 보이려는 시험은 보통 ITT 를 주된 분석으로 씁니다.

중간에 결과를 들여다보면 왜 기준을 더 엄하게 하나요?

볼 때마다 우연히 기준을 넘을 기회가 한 번씩 더 생기기 때문입니다. 효과가 없어도 매번 |z| ≥ 1.96 으로 다섯 번 보면 1종 오류를 범할 확률이 5% 가 아니라 약 14% 가 됩니다. 그래서 볼 횟수와 기준을 미리 정하고, 처음에는 아주 엄하게, 끝에서는 1.96 가까이 두는 경계를 흔히 씁니다.

시험에서 부작용이 한 건도 없었으면 그 부작용은 없다는 뜻인가요?

아닙니다. n 명에서 0건이면 「빈도가 약 3 ÷ n 보다는 낮을 것」(95%)까지만 말할 수 있습니다. 3,000명 시험에서 0건이어도 1,000명에 1명꼴인 부작용은 배제되지 않습니다. 1만 명에 1명꼴인 부작용은 3,000명 시험에서 한 건이라도 나올 확률이 약 26% 입니다.

낱말

여기서 쓴 말책에서 부르는 말
사람에게서 하는 치료 실험임상시험(clinical trial)
무작위로 나눈, 대조군이 있는 시험무작위 대조 시험(randomized controlled trial, RCT)
비교하는 쪽 / 가짜 약 / 기존 치료와 비교대조군(control group) / 위약(placebo) / 활성 대조(active control)
다음 배정을 미리 알 수 없게 숨기기배정 은폐(allocation concealment)
누가 어느 쪽인지 모르게 하기눈가림, 맹검(blinding, masking). 이중 맹검(double-blind)
들어올 조건선정·제외 기준(inclusion and exclusion criteria), 적격성(eligibility)
연락이 끊겨 결과를 모름추적 소실(lost to follow-up), 탈락(dropout)
치료를 끝까지 따름순응(adherence, compliance)
배정받은 대로 분석 / 끝까지 따른 사람만 분석치료 의향 분석(intention-to-treat, ITT), 전체 분석 집합(full analysis set) / 계획서 순응 분석(per-protocol, PP)
무엇을 어림하려는지추정 대상(estimand)
흐름도와 보고 체크리스트CONSORT 흐름도(CONSORT flow diagram), CONSORT 성명(CONSORT statement)
1상 ~ 4상임상 1상~3상(phase 1~3), 시판 후 조사·4상(post-marketing surveillance, phase 4)
0건일 때의 위쪽 한계 3 ÷ n3의 법칙(rule of three)
계획서 / 통계 분석 계획서 / 사전 등록프로토콜(protocol) / 통계 분석 계획(statistical analysis plan, SAP) / 임상시험 등록(trial registration)
결과를 보고 지표 바꾸기 / 결과를 보고 가설 세우기평가 변수 바꿔치기(outcome switching) / HARKing(hypothesizing after the results are known)
나쁜 결과가 발표되지 않아 생기는 치우침출판 편향(publication bias)
결론을 정하는 결과 / 곁의 결과일차 평가 변수(primary endpoint) / 이차 평가 변수(secondary endpoint)
진짜 결과 대신 재는 값대리 평가 변수(surrogate endpoint)
위험 차이 / 상대위험도 / 치료 필요 수 / 위험비위험 차이(risk difference) / 상대위험도(relative risk, risk ratio) / NNT(number needed to treat) / 위험비(hazard ratio)
도중에 들여다보기중간 분석(interim analysis), 군 순차 설계(group sequential design)
전체에서 한 번이라도 헛짚을 확률전체 1종 오류율(overall type I error rate)
멈추는 기준 / α 를 나눠 쓰기중단 경계(stopping boundary) / 알파 소비(alpha spending), 알파 소비 함수(alpha spending function)
똑같이 나누기 / 처음엔 엄하게본페로니 보정(Bonferroni correction) / 오브라이언-플레밍 경계(O'Brien-Fleming boundary). 매번 같은 기준은 포콕 경계(Pocock boundary)
독립 자료 감시 위원회IDMC, DMC, DSMB(data and safety monitoring board)
더 나은가 / 못하지 않은가 / 같은가우월성(superiority) / 비열등성(non-inferiority) / 동등성(equivalence) 시험
받아들일 수 있는 차이 M비열등성 한계, 동등성 한계(non-inferiority margin, equivalence margin)
병행 / 교차 / 요인 / 군집 무작위 설계parallel group / crossover / factorial / cluster randomized design
사람을 쪼개 따로 보는 분석하위군 분석(subgroup analysis)
의미 있다고 볼 가장 작은 차이최소 임상적 중요 차이(minimal clinically important difference, MCID)
설명을 듣고 하는 동의 / 윤리 심의 위원회충분한 설명에 근거한 동의(informed consent) / 기관생명윤리위원회(IRB)
어느 쪽이 나은지 정말 모르는 상태임상적 평형(clinical equipoise)

출처

← 교란과 편향로지스틱 회귀 →