무작위 배정과 대조군: 공정하게 비교하는 법

새 치료를 받은 사람들이 나아졌습니다. 치료 덕분일까요? 비교할 집단이 없으면 알 수 없고, 비교할 집단이 있어도 누가 어느 쪽에 들지를 사람이 고르면 처음부터 기울어집니다. 지어낸 참가자 40명을 직접 나눠 보며 공정하게 비교하는 법을 봅니다.

한 줄 답. 치료가 효과가 있는지 알려면 「치료를 받은 집단」과 「안 받은 집단(대조군)」을 비교해야 합니다. 누가 어느 집단에 들지를 사람이 고르면 두 집단이 처음부터 달라집니다. 제비뽑기로 정하면(무작위 배정) 아는 차이도 모르는 차이도 평균적으로 두 집단에 고르게 나뉩니다. 그래서 끝에 남는 차이를 치료 때문이라고 말할 수 있습니다.

참가자 40명과 결과는 모두 고정 시드 난수기로 지어낸 것이라, 쪽을 열 때마다 같습니다. 사람 모양이 클수록 처음 상태가 심하고(심한 정도 1 ~ 9), 색이 짙을수록 나이가 많습니다(30 ~ 75살). 결과는 4주 뒤 「좋아진 정도」(점)입니다. 지어낸 숨은 규칙이 하나 있습니다. 치료와 상관없이 처음 심한 정도가 1 낮으면 1점 더 좋아집니다. 나이가 많을수록 조금 덜 좋아지고, 화면에 나오지 않는 체질도 조금 끼어듭니다. 「의사의 편향 세기」는 의사가 가벼운 사람을 새 치료 쪽에 넣으려는 정도입니다(0 이면 편향 없음). ③ 무작위 배정은 이 값을 보지 않습니다. 아래 그림은 「다시 배정」할 때마다 추정한 효과를 방법별로 쌓은 것이고, 검은 점선이 진짜 효과, 주황 선이 모은 추정값의 평균입니다. 세기나 진짜 효과를 바꾸면 처음부터 다시 모읍니다.

해 볼 것. ① 처음 화면은 의사가 고른 것입니다(세기 0.6, 진짜 효과 0). 치료군의 처음 심한 정도 평균은 3.89, 대조군은 6.46 입니다. 좋아진 정도는 9.56 대 6.13 이라 추정한 효과가 3.42 로 나옵니다. 효과가 0 인 치료가 효과가 있는 것처럼 보입니다. ② 「200번 다시 배정」을 누르면 201번의 추정값이 평균 2.37 에 모입니다. 몇 번을 다시 해도 0 으로 돌아오지 않습니다. ③ 「③ 무작위 배정」을 누르면 처음 심한 정도가 4.85 대 5.5 로 가까워지고 추정값은 0.54 입니다. 200번 더 하면 평균 0.04, 표준편차 0.86 으로 0 을 가운데로 오갑니다. ④ 「② 번갈아」는 처음 추정값이 2.12, 201번 평균 2.47 입니다. 번갈아 주는 것은 공정해 보여도, 다음 사람이 어느 집단일지 아는 의사가 순서를 바꾸면 ① 과 비슷하게 치우칩니다. ⑤ 세기를 0 으로 두고 ① 을 200번 다시 하면 평균 −0.02 로 무작위 배정과 같아집니다. 세기를 1 로 두면 몇 번을 해도 3.93 입니다. 그런데 실제 의사의 세기는 아무도 잴 수 없고, 의사 자신도 모릅니다. ⑥ 세기 0.6 에서 진짜 효과를 2 로 두면 ① 은 처음 추정값 5.42, 201번 평균 4.37 로 부풀고, ③ 은 201번 평균 2.04 로 진짜 효과 근처에 모입니다.

1. 비교하지 않으면 모른다: 대조군

새 치료의 효과를 알고 싶을 때 필요한 것은 「치료를 받은 사람들이 어떻게 됐나」가 아니라 「같은 사람들이 치료를 안 받았다면 어떻게 됐을까」와의 차이입니다. 같은 사람으로 둘 다 해 볼 수는 없으니, 치료를 받지 않는 사람들을 따로 두고 비교합니다. 치료를 받는 쪽을 치료군, 비교하는 기준이 되는 쪽을 대조군이라고 부릅니다.

비교하는 일이 공정하려면 두 집단이 치료 말고는 같아야 합니다. 처음 상태도, 나이도, 생활도, 아직 아무도 모르는 체질도. 위 실험 ① 처럼 의사가 가벼운 사람을 골라 새 치료를 주면, 치료군은 치료가 아니어도 더 좋아질 사람들로 채워집니다. 끝에 나온 차이에 치료의 몫과 「처음부터 달랐던 몫」이 섞여서 둘을 가를 수 없습니다.

관찰 연구와 실험

누가 치료를 받을지를 연구자가 정하느냐에 따라 연구가 둘로 나뉩니다.

관찰 연구실험(무작위 대조 시험)
누가 치료를 정하나사람들이 스스로, 또는 평소대로 의사가 정한다. 연구자는 지켜보고 기록한다연구자가 정한다. 무작위 배정이면 제비뽑기가 정한다
두 집단의 처음 상태다를 수 있고, 다른 까닭을 다 알기 어렵다평균적으로 같다. 남는 차이는 우연이다
바로 말할 수 있는 것「같이 나타난다」(관련)「그것 때문이다」(원인)
원인이라고 말하려면다른 까닭(교란)을 따로 막아야 한다. 모르는 까닭은 막을 수 없다(교란과 편향)배정, 눈가림, 분석을 계획대로 했는지 확인한다
예어떤 약을 먹어 온 사람들의 기록을 모아 안 먹은 사람들과 비교한다참가자를 모은 뒤 무작위로 나눠 한쪽에만 약을 준다

2. 대조군이 없으면: 전과 후만 비교하는 함정

가장 흔한 실수는 대조군 없이 치료군의 「치료 전」과 「치료 후」만 비교하는 것입니다. 좋아진 만큼이 모두 치료 효과처럼 보이지만, 그 안에는 치료가 없어도 생겼을 몫이 적어도 셋 섞여 있습니다.

대조군이 있으면 이 몫들이 양쪽에 똑같이 들어가서, 두 집단을 빼면 사라집니다. 아래에서 몫의 크기와 대조군의 종류를 바꿔 보세요.

숫자는 설명을 위해 지어낸 점수입니다. 치료군에는 네 몫이 다 들어갑니다. 아무것도 안 하는 대조군에는 저절로 낫는 몫과 평균으로 돌아가는 몫만, 위약 대조군에는 기대 효과까지 들어갑니다. 검은 점선은 대조군의 높이를 치료군에 옮긴 것이고, 그 위로 튀어나온 만큼이 오른쪽 「차이」입니다. 막대의 눈금은 치료군 막대가 칸에 꽉 차게 늘거나 줄어듭니다.

해 볼 것. ① 처음(대조군 없음)에는 치료군이 7.5 점 좋아진 것만 보입니다. 진짜 효과는 1 이고 나머지 6.5 점은 치료가 없어도 생겼을 몫입니다. ② 「아무것도 안 하는 대조군」을 누르면 대조군도 5 점 좋아지고, 차이는 2.5 입니다. 진짜 효과 1 에 기대 효과 1.5 가 아직 붙어 있습니다. ③ 「위약 대조군」을 누르면 대조군이 6.5 점, 차이가 1 로 진짜 효과만 남습니다. ④ 진짜 효과를 0 으로 내리면, 대조군 없이는 6.5 점이 「효과」로 보이지만 위약 대조군과 비교하면 차이가 0 입니다.

대조군의 종류

대조군무엇을 받나차이가 말하는 것언제 쓰나
위약겉모양, 맛, 먹는 방법은 같고 약효 성분만 없는 것새 치료에서 기대 효과를 뺀 몫아직 쓸 만한 치료가 없을 때
기존 치료지금 표준으로 쓰는 치료새 치료가 기존 치료보다 나은가(또는 크게 못하지 않은가)좋은 치료가 이미 있어서, 그것을 빼고 위약만 주는 일이 윤리에 어긋날 때
아무것도 안 함없음. 나중에 받기로 하고 기다리게 하기도 한다치료를 받는 일 전체의 효과. 기대 효과도 들어 있다위약을 만들 수 없을 때(수술, 운동, 상담)

이렇게 읽으면 틀린다. 「위약군도 이만큼 좋아졌으니 이것이 위약 효과다」. 위약군이 좋아진 몫에는 저절로 낫는 몫과 평균으로 돌아가는 몫도 들어 있습니다. 위 실험의 위약 대조군은 6.5 점 좋아졌지만 그 가운데 기대 효과는 1.5 뿐입니다. 위약 효과만 재려면 아무것도 받지 않는 집단을 하나 더 둬야 합니다.

3. 식이 만들어지는 과정

우리가 실제로 재는 것은 두 집단의 평균의 차이입니다. 이 차이가 언제 치료 효과와 같아지는지 식으로 따라가 봅니다. 기호는 셋입니다. Y(1) 은 한 사람이 치료를 받았다면 나올 결과, Y(0) 은 받지 않았다면 나올 결과입니다. 치료[Y(1)] 은 치료군 사람들의 Y(1) 평균, 대조[Y(0)] 은 대조군 사람들의 Y(0) 평균처럼 읽습니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위의 식에 조각이 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그 단계만큼 바뀌고, 아래에 까닭이 나옵니다. 사람들은 실험 1 의 40명과 같고, 이 실험에서는 진짜 효과를 1 로 두었습니다. ②~④ 단계는 의사가 세기 0.6 으로 고른 배정이고, ⑤ 단계는 무작위 배정입니다. 「무작위 배정 다시」는 ⑤ 단계에서 씁니다.

  1. 사람마다 두 결과: Y(1) − Y(0). 사람마다 「치료를 받았다면 나올 결과」 Y(1) 과 「안 받았다면 나올 결과」 Y(0) 이 있다고 봅니다. 그 사람에게 치료가 한 일은 둘의 차이입니다. 이 본보기에서는 누구나 1 점입니다. 40명의 평균은 Y(1) 8.84, Y(0) 7.84 입니다.
  2. 하나만 보인다: 차이 = 치료[Y(1)] − 대조[Y(0)]. 한 사람이 같은 때에 치료를 받으면서 안 받을 수는 없습니다. 치료군에서는 Y(1) 만, 대조군에서는 Y(0) 만 보입니다. 그래서 우리가 재는 차이는 서로 다른 사람들의 값을 뺀 것입니다. 의사가 고른 배정에서는 9.83 − 6.86 = 2.97 로, 진짜 효과 1 의 세 배쯤입니다. 까닭: 볼 수 있는 것만으로 식을 세워야 합니다.
  3. 같은 것을 빼고 더하기: − 치료[Y(0)] + 치료[Y(0)]. 볼 수 없는 값, 곧 「치료군 사람들이 치료를 안 받았다면 나왔을 결과의 평균」을 한 번 빼고 한 번 더합니다. 0 을 더한 것이라 차이는 그대로 2.97 입니다. 지어낸 자료라 이 값(8.83)을 열어 볼 수 있습니다. 까닭: 이 값을 끼워야 「같은 사람들끼리의 차이」와 「다른 사람들끼리의 차이」로 가를 수 있습니다.
  4. 두 몫에 이름 붙이기: 차이 = 치료 효과 + 처음 차이. 앞의 치료[Y(1)] − 치료[Y(0)] 은 같은 사람들의 두 결과의 차이라서 치료 효과(1)입니다. 뒤의 치료[Y(0)] − 대조[Y(0)] 은 둘 다 「치료 없이」의 결과인데 사람들이 다릅니다. 치료와 상관없이 두 집단이 처음부터 달랐던 몫, 처음 차이입니다(8.83 − 6.86 = 1.97). 2.97 = 1 + 1.97. 사람이 고르면 처음 차이가 0 이 아닙니다. 이것을 선택 편향이라고 합니다.
  5. 무작위 배정이면: 처음 차이의 평균이 0. 무작위 배정은 누구의 Y(0) 도 보지 않고 나눕니다. 그래서 어느 사람이든 치료군에 들 확률이 같고, 처음 차이는 0 을 가운데로 오갑니다. 사람이 많을수록 0 에 가깝게 모입니다. 같은 무작위 배정을 1,000번 해 보면 처음 차이의 표준편차가 40명에서 약 0.86, 400명에서 약 0.24 입니다. 이제 차이를 「치료 효과 + 작은 우연」으로 읽을 수 있고, 그 우연의 크기를 재는 것이 가설검정과 신뢰구간입니다.

이 본보기는 모든 사람의 효과가 1 로 같습니다. 실제로는 사람마다 효과가 다를 수 있습니다. 그때 앞 몫은 「치료군 사람들의 평균 효과」가 되는데, 무작위로 나눴다면 이것도 평균적으로 「모든 사람의 평균 효과」와 같습니다. 그래서 무작위 배정 시험이 추정하는 것은 한 사람의 효과가 아니라 집단 전체의 평균 효과입니다.

해 볼 것. ① 처음 단계에서 40명 평균은 Y(1) 8.84, Y(0) 7.84, 검은 화살표(치료 효과)는 1 입니다. ② 「다음」을 누르면 사람들이 두 집단으로 나뉘고 막대 하나씩이 「?」 가 됩니다. 보라 화살표(우리가 재는 차이)는 2.97 입니다. ③ 한 번 더 누르면 치료군의 가려진 Y(0) 이 주황 점선으로 열리고, 그 평균은 8.83 입니다. ④ 한 번 더 누르면 2.97 이 치료 효과 1 과 처음 차이 1.97 로 갈립니다. ⑤ 마지막 단계는 무작위 배정이라 처음 차이가 −0.04 입니다. 「무작위 배정 다시」를 네 번 누르면 처음 차이가 −0.88, 0.62, 0.59, −0.38 로 양쪽을 오가고, 다섯 번의 평균은 −0.02 입니다.

이렇게 읽으면 틀린다. 「무작위로 나눴으니 두 집단은 똑같다」. 「평균적으로 0」은 같은 무작위 배정을 여러 번 한다고 할 때의 이야기입니다. 한 번의 배정에서는 ⑤ 단계의 −0.88 처럼 처음 차이가 남고, 사람이 적을수록 큽니다. 그 우연은 검정과 신뢰구간이 셈에 넣습니다. 반대로 「처음 차이가 조금 있으니 무작위 배정이 실패했다」도 틀립니다.

4. 무작위 배정이 하는 일: 아는 것도, 모르는 것도

「무작위 배정 대신 나이와 심한 정도를 잘 맞춰 나누면 되지 않나」라고 생각할 수 있습니다. 아는 값은 맞출 수 있습니다. 그런데 결과에 걸리는 것은 아는 값만이 아닙니다. 위 실험의 결과에는 화면에 나오지 않는 「체질」이 끼어 있었고, 실제로는 생활 습관, 유전, 아직 이름도 없는 것들이 끼어듭니다. 모르는 것은 맞출 수 없습니다.

무작위 배정은 사람의 어떤 성질도 보지 않습니다. 그래서 어떤 성질과도 상관이 없고, 아는 것이든 모르는 것이든 평균적으로 두 집단에 고르게 나눕니다. 3절의 Y(0) 은 그 사람의 모든 성질이 결과에 미친 몫을 한데 모은 값입니다. 무작위 배정이 Y(0) 을 고르게 나눈다는 것이 곧 아는 것과 모르는 것을 함께 고르게 나눈다는 뜻입니다.

Fisher 는 『The Design of Experiments』(1935)에서 실험의 처치를 무작위로 정해야 하는 까닭을 설명했습니다. 처치를 무작위로 정했기 때문에 「처치에 아무 효과가 없어도 우연만으로 이만큼의 차이가 나올 확률」을 계산할 수 있다는 것입니다. 이 확률이 p값의 바탕입니다.

무작위 배정은 정말로 미리 알 수 없어야 합니다. 온 순서대로 번갈아 주기, 생년월일이나 등록 번호의 홀짝으로 나누기는 규칙이 정해져 있어 다음 차례를 맞힐 수 있습니다. 실험 1 의 ② 처럼 맞힐 수 있으면 고르는 사람의 편향이 다시 들어옵니다. CONSORT 설명 문서는 이런 방법을 「무작위」라고 부르지 말라고 적습니다.

무작위 추출과 무작위 배정은 다른 일이다

무작위 추출무작위 배정
묻는 것누구를 연구에 넣나들어온 사람을 어느 집단에 넣나
지켜 주는 것결과를 더 큰 집단(모집단)에 넓혀 말할 수 있다두 집단의 차이를 치료 때문이라고 말할 수 있다
없으면결과가 들어온 사람들에게만 맞을 수 있다처음부터 다른 두 집단을 비교한다
더 보기표본과 표집분포이 쪽

임상시험의 참가자는 대개 모집단에서 무작위로 뽑힌 사람들이 아니라 조건에 맞아 스스로 들어온 사람들입니다. 그래서 무작위 배정 덕분에 「이 사람들에게는 효과가 있었다」는 말은 믿을 수 있지만, 그것을 더 넓은 사람들에게 넓힐 때는 참가자가 어떤 사람들이었는지를 따로 봐야 합니다.

5. 무작위 배정의 여러 방법

「무작위 배정」에도 방법이 여럿입니다. 같은 사람들을 세 방법으로 나눠 보세요.

한 칸이 한 사람이고, 온 순서대로 왼쪽 위부터 놓았습니다. 초록 동그라미는 치료, 파란 네모는 대조, 큰 것은 처음 심한 정도가 5 이상인 「심한 쪽」입니다. 블록 무작위(block randomization)와 층화 무작위에서는 옅은 칸과 흰 칸이 번갈아 블록 하나씩입니다. 층화 무작위는 심한 쪽과 가벼운 쪽을 따로 줄 세웁니다. 아래 두 히스토그램은 같은 사람들을 같은 방법으로 1,000번 배정해 센 것입니다. 사람 수를 바꾸면 사람들을 다시 지어냅니다(앞 40명은 실험 1 과 같습니다).

방법하는 일좋은 점조심할 점
단순 무작위한 사람마다 동전을 던진다가장 단순하고 다음 차례를 맞힐 수 없다집단 크기가 우연히 쏠린다. 크기 차이의 표준편차가 약 √n 이라, 사람이 적을수록 비율로 크게 쏠린다
블록 무작위4명씩 묶어 그 안에 「치료 2, 대조 2」를 섞어 놓는다블록이 끝날 때마다 두 집단 크기가 같다. 시험을 중간에 멈춰도 크게 쏠리지 않는다블록 크기를 알면 블록의 마지막 사람을 맞힐 수 있다. 블록 크기를 섞거나 숨긴다. 심한 정도 같은 다른 값은 맞추지 않는다
층화 무작위중요한 값(심한 정도, 성별, 병원)으로 사람들을 나눈 뒤 그 안에서 블록 무작위를 한다그 값까지 두 집단에 고르게 나뉜다나누는 값이 많으면 칸마다 사람이 적어 블록이 덜 차서 효과가 줄어든다. 층 안에서 블록을 쓰지 않으면 층화의 효과가 없다

해 볼 것. ① 처음(단순, 40명)에는 치료 16명, 대조 24명으로 8명이 벌어졌습니다. 심한 쪽 21명도 치료 7명, 대조 14명입니다. 1,000번 가운데 두 집단 크기가 똑같은 때는 128번뿐이고, 4명 이상 벌어진 때가 634번입니다. ② 「블록 무작위」를 누르면 1,000번 모두 20명 대 20명입니다. 그런데 심한 쪽은 이번에 13명 대 8명이고, 1,000번 가운데 235번은 4명 이상 벌어집니다. 블록은 크기만 맞춥니다. ③ 「층화 무작위」를 누르면 심한 쪽이 10명 대 11명이고, 1,000번 동안 심한 사람 수가 4명 이상 벌어진 때가 한 번도 없습니다. 대신 크기가 똑같은 때는 470번입니다. 심한 쪽 21명과 가벼운 쪽 19명이 4로 나눠지지 않아 층마다 마지막 블록이 덜 찼기 때문인데, 그래도 차이는 2명을 넘지 않습니다. ④ 단순 무작위에서 사람 수를 8명으로 줄이면 크기가 똑같은 때가 291번이고, 6명 대 2명이나 그보다 더 기운 때가 290번입니다. ⑤ 단순 무작위의 크기 차이의 표준편차는 40명에서 6.27, 100명에서 10.34 로 √n(6.32, 10)에 가깝습니다. 차이 자체는 커지지만 사람 수로 나누면 0.16 에서 0.10 으로 줄어듭니다. 사람이 아주 많으면 단순 무작위도 거의 반반이 됩니다.

실험계획에서 말하는 「블록 설계」(비슷한 것끼리 묶어 그 블록 안에서 비교하는 설계)는 층화와 뿌리가 같은 생각입니다. 블록 설계에서 따로 다룹니다.

손으로 해 보기: 8명을 블록 무작위로

참가자 8명이 1번부터 차례로 들어온다고 합시다(지어낸 예입니다). 4명 블록 둘을 씁니다.

  1. 순서 목록 만들기. 4명 안에 「치료 2, 대조 2」를 놓는 순서는 여섯 가지입니다(4명 가운데 치료 2명을 고르는 방법 수 = 6). 1 치치대대, 2 치대치대, 3 치대대치, 4 대치치대, 5 대치대치, 6 대대치치.
  2. 블록마다 하나 고르기. 주사위를 던져 첫 블록은 3(치대대치), 둘째 블록은 4(대치치대)가 나왔습니다. 이 목록은 사람이 들어오기 전에 만들어 봉해 둡니다.
  3. 들어온 순서대로 배정. 치료군은 1, 4, 6, 7번, 대조군은 2, 3, 5, 8번입니다. 블록마다 2 대 2 입니다.
  4. 결과 재기. 4주 뒤 좋아진 정도(점)가 1번부터 9, 6, 7, 10, 5, 9, 8, 6 이었습니다.
  5. 평균과 차이. 치료군 (9 + 10 + 9 + 8) ÷ 4 = 36 ÷ 4 = 9, 대조군 (6 + 7 + 5 + 6) ÷ 4 = 24 ÷ 4 = 6. 추정한 효과는 9 − 6 = 3 점입니다.

이 3 점이 우연만으로도 나올 만한 크기인지는 아직 모릅니다. 4명씩인 집단에서는 처음 차이가 크게 남을 수 있기 때문입니다. 그 판단은 가설검정과 t 검정에서 합니다.

# 파이썬 표준 라이브러리만으로: 4명 블록 10개(40명)의 배정 목록
import random
rng = random.Random(42)         # 시드를 적어 두면 같은 목록을 다시 만들 수 있다
sequence = []
for _ in range(10):
    block = ["치료", "치료", "대조", "대조"]
    rng.shuffle(block)          # 블록 안의 순서를 섞는다
    sequence += block

6. 눈가림과 배정 순서 숨기기

무작위로 나눈 뒤에도 누가 어느 집단인지 알면 편향이 다시 생깁니다.

배정을 아는 사람생기는 편향막는 법
참가자새 치료를 받은 줄 알면 좋아졌다고 느끼거나 더 열심히 관리한다. 대조군은 실망해 그만두거나 다른 치료를 찾는다위약. 겉모양이 같은 약
치료하는 사람(의사, 간호사)치료군을 더 자주 살피거나, 다른 치료를 한쪽에만 더 준다번호만 붙은 같은 모양의 약통을 쓴다
결과를 재는 사람애매한 결과를 기대하는 쪽으로 읽는다. 사람이 판단하는 점수일수록 크다배정을 모르는 사람이 잰다. 기계로 재는 값을 쓴다
분석하는 사람결과를 보고 유리한 분석 방법을 고른다분석 계획을 미리 적어 둔다

배정 순서 숨기기와 눈가림은 다른 일입니다. CONSORT 설명 문서는 둘을 이렇게 가릅니다.

「이중 눈가림」이라는 말은 연구마다 누구 둘을 가렸는지가 달라서, CONSORT 는 이런 말 대신 누구를 어떻게 가렸는지를 적으라고 합니다.

7. 배정한 대로 분석한다

무작위로 치료군에 들어간 사람은, 약을 다 먹지 않았거나 중간에 그만뒀어도 치료군으로 셉니다. 이것을 배정한 대로 분석하기(intention-to-treat, ITT)라고 합니다.

까닭은 그만두는 사람이 무작위로 정해지지 않기 때문입니다. 예를 들어 부작용이 힘들거나 상태가 나빠진 사람이 치료군에서 더 많이 그만둔다고 합시다. 끝까지 한 사람만 세면 남은 치료군은 원래보다 건강한 쪽으로 기울고, 무작위 배정이 만든 균형이 깨집니다. 3절의 식으로 말하면 처음 차이가 다시 0 이 아니게 됩니다.

8. 꼭 알아야 할 성질

성질쉬운 말이 쪽에서
무작위 배정은 어떤 성질도 보지 않는다그래서 아는 것과 모르는 것이 모두 평균적으로 두 집단에 고르게 나뉜다실험 1 ③, 4절
차이 = 치료 효과 + 처음 차이사람이 고르면 처음 차이가 남고(선택 편향), 무작위 배정이면 그 평균이 0 이다3절
「평균적으로」다한 번의 배정은 우연히 기울 수 있고, 사람이 적을수록 더 크게 기운다3절 ⑤, 실험 4
대조군은 치료 말고 모든 것을 같이 겪는다저절로 낫기, 평균으로 돌아가기, 기대 효과가 양쪽에 똑같이 들어가 빼면 사라진다실험 2
미리 알 수 있으면 무너진다번갈아, 날짜·번호의 홀짝처럼 맞힐 수 있는 규칙은 고르는 사람의 편향을 다시 불러온다. 배정한 뒤 빼는 것도 균형을 깬다실험 1 ②, 6절, 7절

9. 무작위 배정을 할 수 없을 때

그때는 관찰 자료를 쓰되, 결과에 함께 걸리는 다른 까닭(교란)을 따로 막아야 합니다. 비슷한 사람끼리 짝지어 비교하기, 층으로 나눠 비교하기, 회귀로 조정하기 같은 방법이 있습니다. 다만 이 방법들은 아는 것만 맞출 수 있습니다. 모르는 까닭은 남을 수 있다는 것이 무작위 배정과의 가장 큰 차이입니다. 교란과 편향에서 다룹니다.

어디에 쓰나

# A/B 시험: 사용자 번호를 해시해서 나눈다. 같은 사람은 늘 같은 쪽에 들어간다
import hashlib
def assign_group(user_id: str, experiment: str) -> str:
    digest = hashlib.sha256(f"{experiment}:{user_id}".encode()).digest()
    return "B" if digest[0] % 2 else "A"   # 첫 바이트의 홀짝: 반반에 가깝다

실험 이름을 같이 넣는 까닭은, 실험마다 사람들이 다른 조합으로 나뉘게 해서 한 실험의 B 집단이 다음 실험에서도 늘 같이 몰려 다니지 않게 하려는 것입니다.

자주 묻는 것

무작위 배정과 무작위 추출은 무엇이 다른가요?

무작위 추출은 누구를 연구에 넣을지를 무작위로 정하는 것이고, 무작위 배정은 이미 들어온 사람을 어느 집단에 넣을지를 무작위로 정하는 것입니다. 추출은 결과를 더 큰 집단에 넓혀 말하는 근거가 되고, 배정은 두 집단의 차이를 치료 때문이라고 말하는 근거가 됩니다. 한 연구에 둘 중 하나만 있는 일이 흔합니다.

무작위로 나눴는데 두 집단의 처음 상태가 다르면 실패인가요?

아닙니다. 무작위 배정도 한 번은 우연히 기울 수 있고, 그 우연의 크기는 검정과 신뢰구간이 이미 셈에 넣습니다. 처음 값의 차이에 p값을 붙여 확인하는 일은 뜻이 없습니다. 무작위로 나눴다면 그 차이는 모두 우연이라는 것을 이미 알기 때문입니다. 결과에 크게 걸리는 값은 배정할 때 층화하거나, 분석 계획에 미리 적어 두고 조정합니다.

위약군이 좋아진 만큼이 위약 효과인가요?

아닙니다. 위약군이 좋아진 몫에는 저절로 낫는 몫과 평균으로 돌아가는 몫도 섞여 있습니다. 그것을 모두 위약 효과라고 부르면 위약 효과를 부풀리게 됩니다. 위약 효과만 재려면 아무것도 받지 않는 집단을 하나 더 두고 비교해야 합니다.

사람이 적으면 무작위 배정이 소용없나요?

소용은 있습니다. 편향이 평균적으로 0 인 것은 사람 수와 상관없습니다. 다만 한 번의 배정에서 우연히 기울 수 있는 크기가 큽니다. 그래서 사람이 적을수록 블록 무작위로 집단 크기를 맞추고, 결과에 크게 걸리는 값으로 층화합니다. 몇 명이 필요한지는 표본 크기 계산으로 미리 정합니다.

웹 서비스의 A/B 시험도 같은 것인가요?

같습니다. 지금 화면을 보는 사람들이 대조군이고, 새 화면을 보는 사람들이 치료군입니다. 같은 기간에 사용자를 무작위로 나눠야 요일, 계절, 광고 같은 다른 까닭이 양쪽에 고르게 들어갑니다. 지난달과 이번 달을 비교하는 것은 대조군 없는 전후 비교와 같습니다.

몇 명이 필요한지는 표본 크기 계산에서 다룹니다.

낱말

여기서 쓴 말책에서 부르는 말
치료를 받는 집단 / 비교하는 집단치료군, 처치군(treatment group) / 대조군(control group)
제비뽑기로 집단 정하기무작위 배정(random assignment, randomization)
제비뽑기로 나눠 비교하는 실험무작위 대조 시험(randomized controlled trial, RCT)
지켜보고 기록만 하는 연구관찰 연구(observational study)
받았다면 나올 결과 / 안 받았다면 나올 결과잠재 결과(potential outcomes) Y(1), Y(0)
한 사람에게서 둘을 다 볼 수 없다인과 추론의 근본 문제(fundamental problem of causal inference)
집단 전체의 평균 효과평균 처치 효과(average treatment effect, ATE)
처음 차이(사람이 골라 생긴 것)선택 편향(selection bias). 우연히 생긴 것은 기저 불균형(baseline imbalance)
저절로 낫는 몫자연 경과(natural history, natural course)
평균으로 돌아가는 몫평균으로의 회귀(regression to the mean)
기대 효과 / 약효 성분이 없는 가짜위약 효과(placebo effect) / 위약(placebo)
기존 치료와 비교하는 대조군활성 대조군(active control)
사람마다 동전 던지기단순 무작위(simple randomization)
묶음마다 반반블록 무작위(block randomization, permuted blocks)
나눈 뒤 그 안에서 뽑기층화 무작위(stratified randomization). 나눈 칸 하나는 층(stratum)
배정 순서를 미리 모르게배정 은폐(allocation concealment)
누가 어느 집단인지 모르게눈가림, 맹검(blinding, masking). 단일·이중 눈가림(single, double blind)
배정한 대로 분석하기 / 끝까지 받은 사람만치료 의향 분석(intention-to-treat, ITT) / 계획서 순응 분석(per-protocol)
다른 까닭이 결과에 함께 걸림교란(confounding)
웹 화면의 A/B 시험A/B 테스트, 온라인 통제 실험(online controlled experiment)

출처

이 쪽은 통계 개념을 설명합니다. 사람, 점수, 결과는 모두 지어낸 것이고, 어떤 치료에 대한 조언이 아닙니다.

← 표본 크기 계산블록 설계 →