무작위 배정과 대조군: 공정하게 비교하는 법
새 치료를 받은 사람들이 나아졌습니다. 치료 덕분일까요? 비교할 집단이 없으면 알 수 없고, 비교할 집단이 있어도 누가 어느 쪽에 들지를 사람이 고르면 처음부터 기울어집니다. 지어낸 참가자 40명을 직접 나눠 보며 공정하게 비교하는 법을 봅니다.
한 줄 답. 치료가 효과가 있는지 알려면 「치료를 받은 집단」과 「안 받은 집단(대조군)」을 비교해야 합니다. 누가 어느 집단에 들지를 사람이 고르면 두 집단이 처음부터 달라집니다. 제비뽑기로 정하면(무작위 배정) 아는 차이도 모르는 차이도 평균적으로 두 집단에 고르게 나뉩니다. 그래서 끝에 남는 차이를 치료 때문이라고 말할 수 있습니다.
참가자 40명과 결과는 모두 고정 시드 난수기로 지어낸 것이라, 쪽을 열 때마다 같습니다. 사람 모양이 클수록 처음 상태가 심하고(심한 정도 1 ~ 9), 색이 짙을수록 나이가 많습니다(30 ~ 75살). 결과는 4주 뒤 「좋아진 정도」(점)입니다. 지어낸 숨은 규칙이 하나 있습니다. 치료와 상관없이 처음 심한 정도가 1 낮으면 1점 더 좋아집니다. 나이가 많을수록 조금 덜 좋아지고, 화면에 나오지 않는 체질도 조금 끼어듭니다. 「의사의 편향 세기」는 의사가 가벼운 사람을 새 치료 쪽에 넣으려는 정도입니다(0 이면 편향 없음). ③ 무작위 배정은 이 값을 보지 않습니다. 아래 그림은 「다시 배정」할 때마다 추정한 효과를 방법별로 쌓은 것이고, 검은 점선이 진짜 효과, 주황 선이 모은 추정값의 평균입니다. 세기나 진짜 효과를 바꾸면 처음부터 다시 모읍니다.
해 볼 것. ① 처음 화면은 의사가 고른 것입니다(세기 0.6, 진짜 효과 0). 치료군의 처음 심한 정도 평균은 3.89, 대조군은 6.46 입니다. 좋아진 정도는 9.56 대 6.13 이라 추정한 효과가 3.42 로 나옵니다. 효과가 0 인 치료가 효과가 있는 것처럼 보입니다. ② 「200번 다시 배정」을 누르면 201번의 추정값이 평균 2.37 에 모입니다. 몇 번을 다시 해도 0 으로 돌아오지 않습니다. ③ 「③ 무작위 배정」을 누르면 처음 심한 정도가 4.85 대 5.5 로 가까워지고 추정값은 0.54 입니다. 200번 더 하면 평균 0.04, 표준편차 0.86 으로 0 을 가운데로 오갑니다. ④ 「② 번갈아」는 처음 추정값이 2.12, 201번 평균 2.47 입니다. 번갈아 주는 것은 공정해 보여도, 다음 사람이 어느 집단일지 아는 의사가 순서를 바꾸면 ① 과 비슷하게 치우칩니다. ⑤ 세기를 0 으로 두고 ① 을 200번 다시 하면 평균 −0.02 로 무작위 배정과 같아집니다. 세기를 1 로 두면 몇 번을 해도 3.93 입니다. 그런데 실제 의사의 세기는 아무도 잴 수 없고, 의사 자신도 모릅니다. ⑥ 세기 0.6 에서 진짜 효과를 2 로 두면 ① 은 처음 추정값 5.42, 201번 평균 4.37 로 부풀고, ③ 은 201번 평균 2.04 로 진짜 효과 근처에 모입니다.
1. 비교하지 않으면 모른다: 대조군
새 치료의 효과를 알고 싶을 때 필요한 것은 「치료를 받은 사람들이 어떻게 됐나」가 아니라 「같은 사람들이 치료를 안 받았다면 어떻게 됐을까」와의 차이입니다. 같은 사람으로 둘 다 해 볼 수는 없으니, 치료를 받지 않는 사람들을 따로 두고 비교합니다. 치료를 받는 쪽을 치료군, 비교하는 기준이 되는 쪽을 대조군이라고 부릅니다.
비교하는 일이 공정하려면 두 집단이 치료 말고는 같아야 합니다. 처음 상태도, 나이도, 생활도, 아직 아무도 모르는 체질도. 위 실험 ① 처럼 의사가 가벼운 사람을 골라 새 치료를 주면, 치료군은 치료가 아니어도 더 좋아질 사람들로 채워집니다. 끝에 나온 차이에 치료의 몫과 「처음부터 달랐던 몫」이 섞여서 둘을 가를 수 없습니다.
관찰 연구와 실험
누가 치료를 받을지를 연구자가 정하느냐에 따라 연구가 둘로 나뉩니다.
| 관찰 연구 | 실험(무작위 대조 시험) | |
|---|---|---|
| 누가 치료를 정하나 | 사람들이 스스로, 또는 평소대로 의사가 정한다. 연구자는 지켜보고 기록한다 | 연구자가 정한다. 무작위 배정이면 제비뽑기가 정한다 |
| 두 집단의 처음 상태 | 다를 수 있고, 다른 까닭을 다 알기 어렵다 | 평균적으로 같다. 남는 차이는 우연이다 |
| 바로 말할 수 있는 것 | 「같이 나타난다」(관련) | 「그것 때문이다」(원인) |
| 원인이라고 말하려면 | 다른 까닭(교란)을 따로 막아야 한다. 모르는 까닭은 막을 수 없다(교란과 편향) | 배정, 눈가림, 분석을 계획대로 했는지 확인한다 |
| 예 | 어떤 약을 먹어 온 사람들의 기록을 모아 안 먹은 사람들과 비교한다 | 참가자를 모은 뒤 무작위로 나눠 한쪽에만 약을 준다 |
2. 대조군이 없으면: 전과 후만 비교하는 함정
가장 흔한 실수는 대조군 없이 치료군의 「치료 전」과 「치료 후」만 비교하는 것입니다. 좋아진 만큼이 모두 치료 효과처럼 보이지만, 그 안에는 치료가 없어도 생겼을 몫이 적어도 셋 섞여 있습니다.
- 저절로 낫는 몫. 많은 병과 증상은 시간이 지나면 저절로 나아집니다. 감기가 대표적입니다.
- 평균으로 돌아가는 몫. 사람들은 증상이 가장 심할 때 병원에 오고, 연구도 「점수가 높은 사람」을 골라 받습니다. 그날의 점수에는 우연히 나빴던 몫이 섞여 있어서, 다음에 다시 재면 치료가 없어도 덜 심하게 나오는 일이 많습니다. 이것을 평균으로의 회귀라고 합니다(상관과 회귀).
- 기대 효과(위약 효과). 치료를 받는다고 알면 좋아졌다고 느끼거나, 더 쉬고 더 조심하는 식으로 행동이 바뀝니다. 스스로 답하는 점수(통증, 기분)일수록 크게 끼어듭니다.
대조군이 있으면 이 몫들이 양쪽에 똑같이 들어가서, 두 집단을 빼면 사라집니다. 아래에서 몫의 크기와 대조군의 종류를 바꿔 보세요.
숫자는 설명을 위해 지어낸 점수입니다. 치료군에는 네 몫이 다 들어갑니다. 아무것도 안 하는 대조군에는 저절로 낫는 몫과 평균으로 돌아가는 몫만, 위약 대조군에는 기대 효과까지 들어갑니다. 검은 점선은 대조군의 높이를 치료군에 옮긴 것이고, 그 위로 튀어나온 만큼이 오른쪽 「차이」입니다. 막대의 눈금은 치료군 막대가 칸에 꽉 차게 늘거나 줄어듭니다.
해 볼 것. ① 처음(대조군 없음)에는 치료군이 7.5 점 좋아진 것만 보입니다. 진짜 효과는 1 이고 나머지 6.5 점은 치료가 없어도 생겼을 몫입니다. ② 「아무것도 안 하는 대조군」을 누르면 대조군도 5 점 좋아지고, 차이는 2.5 입니다. 진짜 효과 1 에 기대 효과 1.5 가 아직 붙어 있습니다. ③ 「위약 대조군」을 누르면 대조군이 6.5 점, 차이가 1 로 진짜 효과만 남습니다. ④ 진짜 효과를 0 으로 내리면, 대조군 없이는 6.5 점이 「효과」로 보이지만 위약 대조군과 비교하면 차이가 0 입니다.
대조군의 종류
| 대조군 | 무엇을 받나 | 차이가 말하는 것 | 언제 쓰나 |
|---|---|---|---|
| 위약 | 겉모양, 맛, 먹는 방법은 같고 약효 성분만 없는 것 | 새 치료에서 기대 효과를 뺀 몫 | 아직 쓸 만한 치료가 없을 때 |
| 기존 치료 | 지금 표준으로 쓰는 치료 | 새 치료가 기존 치료보다 나은가(또는 크게 못하지 않은가) | 좋은 치료가 이미 있어서, 그것을 빼고 위약만 주는 일이 윤리에 어긋날 때 |
| 아무것도 안 함 | 없음. 나중에 받기로 하고 기다리게 하기도 한다 | 치료를 받는 일 전체의 효과. 기대 효과도 들어 있다 | 위약을 만들 수 없을 때(수술, 운동, 상담) |
이렇게 읽으면 틀린다. 「위약군도 이만큼 좋아졌으니 이것이 위약 효과다」. 위약군이 좋아진 몫에는 저절로 낫는 몫과 평균으로 돌아가는 몫도 들어 있습니다. 위 실험의 위약 대조군은 6.5 점 좋아졌지만 그 가운데 기대 효과는 1.5 뿐입니다. 위약 효과만 재려면 아무것도 받지 않는 집단을 하나 더 둬야 합니다.
3. 식이 만들어지는 과정
우리가 실제로 재는 것은 두 집단의 평균의 차이입니다. 이 차이가 언제 치료 효과와 같아지는지 식으로 따라가 봅니다. 기호는 셋입니다. Y(1) 은 한 사람이 치료를 받았다면 나올 결과, Y(0) 은 받지 않았다면 나올 결과입니다. 치료[Y(1)] 은 치료군 사람들의 Y(1) 평균, 대조[Y(0)] 은 대조군 사람들의 Y(0) 평균처럼 읽습니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위의 식에 조각이 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그 단계만큼 바뀌고, 아래에 까닭이 나옵니다. 사람들은 실험 1 의 40명과 같고, 이 실험에서는 진짜 효과를 1 로 두었습니다. ②~④ 단계는 의사가 세기 0.6 으로 고른 배정이고, ⑤ 단계는 무작위 배정입니다. 「무작위 배정 다시」는 ⑤ 단계에서 씁니다.
- 사람마다 두 결과:
Y(1) − Y(0). 사람마다 「치료를 받았다면 나올 결과」 Y(1) 과 「안 받았다면 나올 결과」 Y(0) 이 있다고 봅니다. 그 사람에게 치료가 한 일은 둘의 차이입니다. 이 본보기에서는 누구나 1 점입니다. 40명의 평균은 Y(1) 8.84, Y(0) 7.84 입니다. - 하나만 보인다:
차이 = 치료[Y(1)] − 대조[Y(0)]. 한 사람이 같은 때에 치료를 받으면서 안 받을 수는 없습니다. 치료군에서는 Y(1) 만, 대조군에서는 Y(0) 만 보입니다. 그래서 우리가 재는 차이는 서로 다른 사람들의 값을 뺀 것입니다. 의사가 고른 배정에서는 9.83 − 6.86 = 2.97 로, 진짜 효과 1 의 세 배쯤입니다. 까닭: 볼 수 있는 것만으로 식을 세워야 합니다. - 같은 것을 빼고 더하기:
− 치료[Y(0)] + 치료[Y(0)]. 볼 수 없는 값, 곧 「치료군 사람들이 치료를 안 받았다면 나왔을 결과의 평균」을 한 번 빼고 한 번 더합니다. 0 을 더한 것이라 차이는 그대로 2.97 입니다. 지어낸 자료라 이 값(8.83)을 열어 볼 수 있습니다. 까닭: 이 값을 끼워야 「같은 사람들끼리의 차이」와 「다른 사람들끼리의 차이」로 가를 수 있습니다. - 두 몫에 이름 붙이기:
차이 = 치료 효과 + 처음 차이. 앞의치료[Y(1)] − 치료[Y(0)]은 같은 사람들의 두 결과의 차이라서 치료 효과(1)입니다. 뒤의치료[Y(0)] − 대조[Y(0)]은 둘 다 「치료 없이」의 결과인데 사람들이 다릅니다. 치료와 상관없이 두 집단이 처음부터 달랐던 몫, 처음 차이입니다(8.83 − 6.86 = 1.97). 2.97 = 1 + 1.97. 사람이 고르면 처음 차이가 0 이 아닙니다. 이것을 선택 편향이라고 합니다. - 무작위 배정이면: 처음 차이의 평균이 0. 무작위 배정은 누구의 Y(0) 도 보지 않고 나눕니다. 그래서 어느 사람이든 치료군에 들 확률이 같고, 처음 차이는 0 을 가운데로 오갑니다. 사람이 많을수록 0 에 가깝게 모입니다. 같은 무작위 배정을 1,000번 해 보면 처음 차이의 표준편차가 40명에서 약 0.86, 400명에서 약 0.24 입니다. 이제 차이를 「치료 효과 + 작은 우연」으로 읽을 수 있고, 그 우연의 크기를 재는 것이 가설검정과 신뢰구간입니다.
이 본보기는 모든 사람의 효과가 1 로 같습니다. 실제로는 사람마다 효과가 다를 수 있습니다. 그때 앞 몫은 「치료군 사람들의 평균 효과」가 되는데, 무작위로 나눴다면 이것도 평균적으로 「모든 사람의 평균 효과」와 같습니다. 그래서 무작위 배정 시험이 추정하는 것은 한 사람의 효과가 아니라 집단 전체의 평균 효과입니다.
해 볼 것. ① 처음 단계에서 40명 평균은 Y(1) 8.84, Y(0) 7.84, 검은 화살표(치료 효과)는 1 입니다. ② 「다음」을 누르면 사람들이 두 집단으로 나뉘고 막대 하나씩이 「?」 가 됩니다. 보라 화살표(우리가 재는 차이)는 2.97 입니다. ③ 한 번 더 누르면 치료군의 가려진 Y(0) 이 주황 점선으로 열리고, 그 평균은 8.83 입니다. ④ 한 번 더 누르면 2.97 이 치료 효과 1 과 처음 차이 1.97 로 갈립니다. ⑤ 마지막 단계는 무작위 배정이라 처음 차이가 −0.04 입니다. 「무작위 배정 다시」를 네 번 누르면 처음 차이가 −0.88, 0.62, 0.59, −0.38 로 양쪽을 오가고, 다섯 번의 평균은 −0.02 입니다.
이렇게 읽으면 틀린다. 「무작위로 나눴으니 두 집단은 똑같다」. 「평균적으로 0」은 같은 무작위 배정을 여러 번 한다고 할 때의 이야기입니다. 한 번의 배정에서는 ⑤ 단계의 −0.88 처럼 처음 차이가 남고, 사람이 적을수록 큽니다. 그 우연은 검정과 신뢰구간이 셈에 넣습니다. 반대로 「처음 차이가 조금 있으니 무작위 배정이 실패했다」도 틀립니다.
4. 무작위 배정이 하는 일: 아는 것도, 모르는 것도
「무작위 배정 대신 나이와 심한 정도를 잘 맞춰 나누면 되지 않나」라고 생각할 수 있습니다. 아는 값은 맞출 수 있습니다. 그런데 결과에 걸리는 것은 아는 값만이 아닙니다. 위 실험의 결과에는 화면에 나오지 않는 「체질」이 끼어 있었고, 실제로는 생활 습관, 유전, 아직 이름도 없는 것들이 끼어듭니다. 모르는 것은 맞출 수 없습니다.
무작위 배정은 사람의 어떤 성질도 보지 않습니다. 그래서 어떤 성질과도 상관이 없고, 아는 것이든 모르는 것이든 평균적으로 두 집단에 고르게 나눕니다. 3절의 Y(0) 은 그 사람의 모든 성질이 결과에 미친 몫을 한데 모은 값입니다. 무작위 배정이 Y(0) 을 고르게 나눈다는 것이 곧 아는 것과 모르는 것을 함께 고르게 나눈다는 뜻입니다.
Fisher 는 『The Design of Experiments』(1935)에서 실험의 처치를 무작위로 정해야 하는 까닭을 설명했습니다. 처치를 무작위로 정했기 때문에 「처치에 아무 효과가 없어도 우연만으로 이만큼의 차이가 나올 확률」을 계산할 수 있다는 것입니다. 이 확률이 p값의 바탕입니다.
무작위 배정은 정말로 미리 알 수 없어야 합니다. 온 순서대로 번갈아 주기, 생년월일이나 등록 번호의 홀짝으로 나누기는 규칙이 정해져 있어 다음 차례를 맞힐 수 있습니다. 실험 1 의 ② 처럼 맞힐 수 있으면 고르는 사람의 편향이 다시 들어옵니다. CONSORT 설명 문서는 이런 방법을 「무작위」라고 부르지 말라고 적습니다.
무작위 추출과 무작위 배정은 다른 일이다
| 무작위 추출 | 무작위 배정 | |
|---|---|---|
| 묻는 것 | 누구를 연구에 넣나 | 들어온 사람을 어느 집단에 넣나 |
| 지켜 주는 것 | 결과를 더 큰 집단(모집단)에 넓혀 말할 수 있다 | 두 집단의 차이를 치료 때문이라고 말할 수 있다 |
| 없으면 | 결과가 들어온 사람들에게만 맞을 수 있다 | 처음부터 다른 두 집단을 비교한다 |
| 더 보기 | 표본과 표집분포 | 이 쪽 |
임상시험의 참가자는 대개 모집단에서 무작위로 뽑힌 사람들이 아니라 조건에 맞아 스스로 들어온 사람들입니다. 그래서 무작위 배정 덕분에 「이 사람들에게는 효과가 있었다」는 말은 믿을 수 있지만, 그것을 더 넓은 사람들에게 넓힐 때는 참가자가 어떤 사람들이었는지를 따로 봐야 합니다.
5. 무작위 배정의 여러 방법
「무작위 배정」에도 방법이 여럿입니다. 같은 사람들을 세 방법으로 나눠 보세요.
한 칸이 한 사람이고, 온 순서대로 왼쪽 위부터 놓았습니다. 초록 동그라미는 치료, 파란 네모는 대조, 큰 것은 처음 심한 정도가 5 이상인 「심한 쪽」입니다. 블록 무작위(block randomization)와 층화 무작위에서는 옅은 칸과 흰 칸이 번갈아 블록 하나씩입니다. 층화 무작위는 심한 쪽과 가벼운 쪽을 따로 줄 세웁니다. 아래 두 히스토그램은 같은 사람들을 같은 방법으로 1,000번 배정해 센 것입니다. 사람 수를 바꾸면 사람들을 다시 지어냅니다(앞 40명은 실험 1 과 같습니다).
| 방법 | 하는 일 | 좋은 점 | 조심할 점 |
|---|---|---|---|
| 단순 무작위 | 한 사람마다 동전을 던진다 | 가장 단순하고 다음 차례를 맞힐 수 없다 | 집단 크기가 우연히 쏠린다. 크기 차이의 표준편차가 약 √n 이라, 사람이 적을수록 비율로 크게 쏠린다 |
| 블록 무작위 | 4명씩 묶어 그 안에 「치료 2, 대조 2」를 섞어 놓는다 | 블록이 끝날 때마다 두 집단 크기가 같다. 시험을 중간에 멈춰도 크게 쏠리지 않는다 | 블록 크기를 알면 블록의 마지막 사람을 맞힐 수 있다. 블록 크기를 섞거나 숨긴다. 심한 정도 같은 다른 값은 맞추지 않는다 |
| 층화 무작위 | 중요한 값(심한 정도, 성별, 병원)으로 사람들을 나눈 뒤 그 안에서 블록 무작위를 한다 | 그 값까지 두 집단에 고르게 나뉜다 | 나누는 값이 많으면 칸마다 사람이 적어 블록이 덜 차서 효과가 줄어든다. 층 안에서 블록을 쓰지 않으면 층화의 효과가 없다 |
해 볼 것. ① 처음(단순, 40명)에는 치료 16명, 대조 24명으로 8명이 벌어졌습니다. 심한 쪽 21명도 치료 7명, 대조 14명입니다. 1,000번 가운데 두 집단 크기가 똑같은 때는 128번뿐이고, 4명 이상 벌어진 때가 634번입니다. ② 「블록 무작위」를 누르면 1,000번 모두 20명 대 20명입니다. 그런데 심한 쪽은 이번에 13명 대 8명이고, 1,000번 가운데 235번은 4명 이상 벌어집니다. 블록은 크기만 맞춥니다. ③ 「층화 무작위」를 누르면 심한 쪽이 10명 대 11명이고, 1,000번 동안 심한 사람 수가 4명 이상 벌어진 때가 한 번도 없습니다. 대신 크기가 똑같은 때는 470번입니다. 심한 쪽 21명과 가벼운 쪽 19명이 4로 나눠지지 않아 층마다 마지막 블록이 덜 찼기 때문인데, 그래도 차이는 2명을 넘지 않습니다. ④ 단순 무작위에서 사람 수를 8명으로 줄이면 크기가 똑같은 때가 291번이고, 6명 대 2명이나 그보다 더 기운 때가 290번입니다. ⑤ 단순 무작위의 크기 차이의 표준편차는 40명에서 6.27, 100명에서 10.34 로 √n(6.32, 10)에 가깝습니다. 차이 자체는 커지지만 사람 수로 나누면 0.16 에서 0.10 으로 줄어듭니다. 사람이 아주 많으면 단순 무작위도 거의 반반이 됩니다.
실험계획에서 말하는 「블록 설계」(비슷한 것끼리 묶어 그 블록 안에서 비교하는 설계)는 층화와 뿌리가 같은 생각입니다. 블록 설계에서 따로 다룹니다.
손으로 해 보기: 8명을 블록 무작위로
참가자 8명이 1번부터 차례로 들어온다고 합시다(지어낸 예입니다). 4명 블록 둘을 씁니다.
- 순서 목록 만들기. 4명 안에 「치료 2, 대조 2」를 놓는 순서는 여섯 가지입니다(4명 가운데 치료 2명을 고르는 방법 수 = 6). 1 치치대대, 2 치대치대, 3 치대대치, 4 대치치대, 5 대치대치, 6 대대치치.
- 블록마다 하나 고르기. 주사위를 던져 첫 블록은 3(치대대치), 둘째 블록은 4(대치치대)가 나왔습니다. 이 목록은 사람이 들어오기 전에 만들어 봉해 둡니다.
- 들어온 순서대로 배정. 치료군은 1, 4, 6, 7번, 대조군은 2, 3, 5, 8번입니다. 블록마다 2 대 2 입니다.
- 결과 재기. 4주 뒤 좋아진 정도(점)가 1번부터 9, 6, 7, 10, 5, 9, 8, 6 이었습니다.
- 평균과 차이. 치료군
(9 + 10 + 9 + 8) ÷ 4 = 36 ÷ 4 = 9, 대조군(6 + 7 + 5 + 6) ÷ 4 = 24 ÷ 4 = 6. 추정한 효과는9 − 6 = 3점입니다.
이 3 점이 우연만으로도 나올 만한 크기인지는 아직 모릅니다. 4명씩인 집단에서는 처음 차이가 크게 남을 수 있기 때문입니다. 그 판단은 가설검정과 t 검정에서 합니다.
# 파이썬 표준 라이브러리만으로: 4명 블록 10개(40명)의 배정 목록
import random
rng = random.Random(42) # 시드를 적어 두면 같은 목록을 다시 만들 수 있다
sequence = []
for _ in range(10):
block = ["치료", "치료", "대조", "대조"]
rng.shuffle(block) # 블록 안의 순서를 섞는다
sequence += block
6. 눈가림과 배정 순서 숨기기
무작위로 나눈 뒤에도 누가 어느 집단인지 알면 편향이 다시 생깁니다.
| 배정을 아는 사람 | 생기는 편향 | 막는 법 |
|---|---|---|
| 참가자 | 새 치료를 받은 줄 알면 좋아졌다고 느끼거나 더 열심히 관리한다. 대조군은 실망해 그만두거나 다른 치료를 찾는다 | 위약. 겉모양이 같은 약 |
| 치료하는 사람(의사, 간호사) | 치료군을 더 자주 살피거나, 다른 치료를 한쪽에만 더 준다 | 번호만 붙은 같은 모양의 약통을 쓴다 |
| 결과를 재는 사람 | 애매한 결과를 기대하는 쪽으로 읽는다. 사람이 판단하는 점수일수록 크다 | 배정을 모르는 사람이 잰다. 기계로 재는 값을 쓴다 |
| 분석하는 사람 | 결과를 보고 유리한 분석 방법을 고른다 | 분석 계획을 미리 적어 둔다 |
배정 순서 숨기기와 눈가림은 다른 일입니다. CONSORT 설명 문서는 둘을 이렇게 가릅니다.
- 배정 순서 숨기기는 배정 전을 지킵니다. 사람을 시험에 넣을지 정하는 순간까지, 그 사람이 어느 집단에 갈지 아무도 미리 알 수 없게 합니다. 고르는 사람의 편향(선택 편향)을 막고, 언제나 할 수 있습니다. 배정은 시험과 떨어진 곳(전화나 웹의 중앙 배정)에서 하거나, 번호를 매긴 불투명한 봉투를 차례대로 엽니다. 실험 1 ② 의 의사가 한 일이 숨기기가 없을 때 생기는 일입니다.
- 눈가림은 배정 후를 지킵니다. 누가 어느 집단인지 모르게 해서, 치료하는 동안과 결과를 재는 동안의 편향을 막습니다. 수술과 약을 비교할 때처럼 할 수 없을 때가 있습니다. 그때도 결과를 재는 사람만은 모르게 할 수 있는 일이 많습니다.
「이중 눈가림」이라는 말은 연구마다 누구 둘을 가렸는지가 달라서, CONSORT 는 이런 말 대신 누구를 어떻게 가렸는지를 적으라고 합니다.
7. 배정한 대로 분석한다
무작위로 치료군에 들어간 사람은, 약을 다 먹지 않았거나 중간에 그만뒀어도 치료군으로 셉니다. 이것을 배정한 대로 분석하기(intention-to-treat, ITT)라고 합니다.
까닭은 그만두는 사람이 무작위로 정해지지 않기 때문입니다. 예를 들어 부작용이 힘들거나 상태가 나빠진 사람이 치료군에서 더 많이 그만둔다고 합시다. 끝까지 한 사람만 세면 남은 치료군은 원래보다 건강한 쪽으로 기울고, 무작위 배정이 만든 균형이 깨집니다. 3절의 식으로 말하면 처음 차이가 다시 0 이 아니게 됩니다.
- 배정한 대로 잰 효과는 「이 치료를 주기로 했을 때」의 효과입니다. 다 먹지 않은 사람도 섞여 있으니, 끝까지 받은 사람에게의 효과보다 작게 나올 수 있습니다.
- 끝까지 계획대로 받은 사람만 센 분석(per-protocol)은 보조로 같이 봅니다. 둘이 크게 다르면 그 까닭을 따집니다.
- CONSORT 2010 은 「intention to treat」라는 말이 제각각 쓰인다며, 그 말 대신 각 분석에 몇 명이 들어갔는지와 처음 배정한 집단 그대로 분석했는지를 적으라고 합니다.
- 결과를 아예 못 잰 사람(빠진 자료)을 어떻게 다룰지는 따로 정해야 하는 문제이고, 이 쪽의 범위 밖입니다.
8. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 이 쪽에서 |
|---|---|---|
| 무작위 배정은 어떤 성질도 보지 않는다 | 그래서 아는 것과 모르는 것이 모두 평균적으로 두 집단에 고르게 나뉜다 | 실험 1 ③, 4절 |
| 차이 = 치료 효과 + 처음 차이 | 사람이 고르면 처음 차이가 남고(선택 편향), 무작위 배정이면 그 평균이 0 이다 | 3절 |
| 「평균적으로」다 | 한 번의 배정은 우연히 기울 수 있고, 사람이 적을수록 더 크게 기운다 | 3절 ⑤, 실험 4 |
| 대조군은 치료 말고 모든 것을 같이 겪는다 | 저절로 낫기, 평균으로 돌아가기, 기대 효과가 양쪽에 똑같이 들어가 빼면 사라진다 | 실험 2 |
| 미리 알 수 있으면 무너진다 | 번갈아, 날짜·번호의 홀짝처럼 맞힐 수 있는 규칙은 고르는 사람의 편향을 다시 불러온다. 배정한 뒤 빼는 것도 균형을 깬다 | 실험 1 ②, 6절, 7절 |
9. 무작위 배정을 할 수 없을 때
- 윤리. 해롭다고 알려진 것을 일부러 줄 수 없고, 좋다고 확인된 치료를 빼앗을 수 없습니다.
- 비용과 시간. 아주 드문 병이나 수십 년 뒤에야 나타나는 결과는 시험으로 기다리기 어렵습니다.
- 바꿀 수 없는 것. 나이, 유전, 이미 지난 일은 배정할 수 없습니다.
그때는 관찰 자료를 쓰되, 결과에 함께 걸리는 다른 까닭(교란)을 따로 막아야 합니다. 비슷한 사람끼리 짝지어 비교하기, 층으로 나눠 비교하기, 회귀로 조정하기 같은 방법이 있습니다. 다만 이 방법들은 아는 것만 맞출 수 있습니다. 모르는 까닭은 남을 수 있다는 것이 무작위 배정과의 가장 큰 차이입니다. 교란과 편향에서 다룹니다.
어디에 쓰나
- 임상시험. 새 약이나 치료가 효과가 있는지 확인하는 시험은 대조군을 두고 무작위로 배정하는 시험이 기본입니다. 시험을 어떻게 짜는지는 임상시험 설계에서 봅니다. 보고할 때는 CONSORT 의 목록대로 배정 순서를 어떻게 만들고 숨겼는지, 누구를 가렸는지 적습니다.
- 웹 서비스의 A/B 시험. 사용자를 무작위로 A(지금 화면, 대조군)와 B(새 화면, 치료군)로 나누는 것은 이 쪽과 같은 일입니다. 같은 기간에 나눠야 요일, 계절, 광고처럼 결과에 걸리는 다른 까닭이 양쪽에 고르게 들어갑니다. 「지난달보다 늘었다」는 대조군 없는 전후 비교입니다. 사용자가 아주 많으면 단순 무작위로도 두 쪽 수가 거의 반반이어야 하므로, 크게 어긋나면 배정 코드의 버그를 먼저 의심합니다.
- 실험실과 밭. 세포 배양 접시, 실험동물의 우리, 밭의 구획을 무작위로 나눕니다. 배양기 가장자리와 가운데처럼 자리마다 다른 조건이 한쪽 집단에 몰리지 않게 합니다. 재는 차례를 무작위로 섞으면 기계가 시간이 지나며 조금씩 변하는 몫도 고르게 나뉩니다.
# A/B 시험: 사용자 번호를 해시해서 나눈다. 같은 사람은 늘 같은 쪽에 들어간다
import hashlib
def assign_group(user_id: str, experiment: str) -> str:
digest = hashlib.sha256(f"{experiment}:{user_id}".encode()).digest()
return "B" if digest[0] % 2 else "A" # 첫 바이트의 홀짝: 반반에 가깝다
실험 이름을 같이 넣는 까닭은, 실험마다 사람들이 다른 조합으로 나뉘게 해서 한 실험의 B 집단이 다음 실험에서도 늘 같이 몰려 다니지 않게 하려는 것입니다.
자주 묻는 것
무작위 배정과 무작위 추출은 무엇이 다른가요?
무작위 추출은 누구를 연구에 넣을지를 무작위로 정하는 것이고, 무작위 배정은 이미 들어온 사람을 어느 집단에 넣을지를 무작위로 정하는 것입니다. 추출은 결과를 더 큰 집단에 넓혀 말하는 근거가 되고, 배정은 두 집단의 차이를 치료 때문이라고 말하는 근거가 됩니다. 한 연구에 둘 중 하나만 있는 일이 흔합니다.
무작위로 나눴는데 두 집단의 처음 상태가 다르면 실패인가요?
아닙니다. 무작위 배정도 한 번은 우연히 기울 수 있고, 그 우연의 크기는 검정과 신뢰구간이 이미 셈에 넣습니다. 처음 값의 차이에 p값을 붙여 확인하는 일은 뜻이 없습니다. 무작위로 나눴다면 그 차이는 모두 우연이라는 것을 이미 알기 때문입니다. 결과에 크게 걸리는 값은 배정할 때 층화하거나, 분석 계획에 미리 적어 두고 조정합니다.
위약군이 좋아진 만큼이 위약 효과인가요?
아닙니다. 위약군이 좋아진 몫에는 저절로 낫는 몫과 평균으로 돌아가는 몫도 섞여 있습니다. 그것을 모두 위약 효과라고 부르면 위약 효과를 부풀리게 됩니다. 위약 효과만 재려면 아무것도 받지 않는 집단을 하나 더 두고 비교해야 합니다.
사람이 적으면 무작위 배정이 소용없나요?
소용은 있습니다. 편향이 평균적으로 0 인 것은 사람 수와 상관없습니다. 다만 한 번의 배정에서 우연히 기울 수 있는 크기가 큽니다. 그래서 사람이 적을수록 블록 무작위로 집단 크기를 맞추고, 결과에 크게 걸리는 값으로 층화합니다. 몇 명이 필요한지는 표본 크기 계산으로 미리 정합니다.
웹 서비스의 A/B 시험도 같은 것인가요?
같습니다. 지금 화면을 보는 사람들이 대조군이고, 새 화면을 보는 사람들이 치료군입니다. 같은 기간에 사용자를 무작위로 나눠야 요일, 계절, 광고 같은 다른 까닭이 양쪽에 고르게 들어갑니다. 지난달과 이번 달을 비교하는 것은 대조군 없는 전후 비교와 같습니다.
몇 명이 필요한지는 표본 크기 계산에서 다룹니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 치료를 받는 집단 / 비교하는 집단 | 치료군, 처치군(treatment group) / 대조군(control group) |
| 제비뽑기로 집단 정하기 | 무작위 배정(random assignment, randomization) |
| 제비뽑기로 나눠 비교하는 실험 | 무작위 대조 시험(randomized controlled trial, RCT) |
| 지켜보고 기록만 하는 연구 | 관찰 연구(observational study) |
| 받았다면 나올 결과 / 안 받았다면 나올 결과 | 잠재 결과(potential outcomes) Y(1), Y(0) |
| 한 사람에게서 둘을 다 볼 수 없다 | 인과 추론의 근본 문제(fundamental problem of causal inference) |
| 집단 전체의 평균 효과 | 평균 처치 효과(average treatment effect, ATE) |
| 처음 차이(사람이 골라 생긴 것) | 선택 편향(selection bias). 우연히 생긴 것은 기저 불균형(baseline imbalance) |
| 저절로 낫는 몫 | 자연 경과(natural history, natural course) |
| 평균으로 돌아가는 몫 | 평균으로의 회귀(regression to the mean) |
| 기대 효과 / 약효 성분이 없는 가짜 | 위약 효과(placebo effect) / 위약(placebo) |
| 기존 치료와 비교하는 대조군 | 활성 대조군(active control) |
| 사람마다 동전 던지기 | 단순 무작위(simple randomization) |
| 묶음마다 반반 | 블록 무작위(block randomization, permuted blocks) |
| 나눈 뒤 그 안에서 뽑기 | 층화 무작위(stratified randomization). 나눈 칸 하나는 층(stratum) |
| 배정 순서를 미리 모르게 | 배정 은폐(allocation concealment) |
| 누가 어느 집단인지 모르게 | 눈가림, 맹검(blinding, masking). 단일·이중 눈가림(single, double blind) |
| 배정한 대로 분석하기 / 끝까지 받은 사람만 | 치료 의향 분석(intention-to-treat, ITT) / 계획서 순응 분석(per-protocol) |
| 다른 까닭이 결과에 함께 걸림 | 교란(confounding) |
| 웹 화면의 A/B 시험 | A/B 테스트, 온라인 통제 실험(online controlled experiment) |
출처
- R. A. Fisher, The Design of Experiments, Oliver and Boyd, 1935. 실험의 처치를 무작위로 정하는 까닭과 검정의 바탕.
- Kenneth F. Schulz, Douglas G. Altman, David Moher, for the CONSORT Group, CONSORT 2010 Statement: Updated Guidelines for Reporting Parallel Group Randomised Trials, PLoS Medicine 7(3): e1000251 (2010). 무작위 배정 시험을 보고할 때 적을 목록(배정 순서 만들기, 숨기기, 눈가림, 처음 배정한 집단대로 분석했는지).
- David Moher 외, CONSORT 2010 Explanation and Elaboration, BMJ 340: c869 (2010). 번갈아·생년월일 배정은 무작위가 아니라는 것, 숨기기와 눈가림의 차이, 블록 크기를 알면 맞힐 수 있다는 것, 층 안에서 블록을 써야 한다는 것, 처음 값의 차이를 검정하는 것이 논리에 맞지 않는다는 것, 「이중 눈가림」이라는 말이 모호하다는 것.
- CONSORT 와 SPIRIT 누리집. 2025년에 고친 판(CONSORT 2025)도 여기 있습니다. 이 쪽의 내용은 2010 판을 따랐습니다.
- 파이썬 문서: random(Random, shuffle), hashlib.
이 쪽은 통계 개념을 설명합니다. 사람, 점수, 결과는 모두 지어낸 것이고, 어떤 치료에 대한 조언이 아닙니다.