요인 설계와 교호작용: 두 가지를 한꺼번에 시험하기
약도 혈압을 내리고 운동도 혈압을 내린다면, 둘을 같이 하면 두 효과를 더한 만큼 내려갈까요? 더 내려갈 수도, 덜 내려갈 수도 있습니다. 네 칸의 평균을 직접 끌어 보며 「한 요인의 효과가 다른 요인에 따라 달라지는 것」을 숫자와 그림으로 봅니다.
한 줄 답. 요인 설계는 알고 싶은 것(요인)이 둘 이상일 때 모든 조합을 다 시험하는 설계입니다. 약 A 를 주는지와 운동을 하는지가 요인이면 네 조합(둘 다 안 함, 약 A 만, 운동만, 둘 다)을 모두 시험합니다. 한 번에 하나씩 바꾸는 것보다 적은 실험으로 각 요인의 효과(주효과)를 알 수 있고, 「한 요인의 효과가 다른 요인에 따라 달라지는지」(교호작용)는 이 설계로만 볼 수 있습니다. 2×2 에서 교호작용은 (y₁₁ − y₀₁) − (y₁₀ − y₀₀), 곧 「운동을 할 때의 약 효과 − 안 할 때의 약 효과」입니다.
운동 안 함운동 함그냥 더해진다면교호작용
| 약 A 안 줌 | 약 A 줌 | |
|---|---|---|
| 운동 함 | ||
| 운동 안 함 |
| 약 A 의 주효과 | ||
|---|---|---|
| 운동 B 의 주효과 | ||
| 교호작용(차이의 차이) |
점 네 개를 위아래로 끌거나 오른쪽 칸의 숫자를 고쳐 보세요(0 ~ 20). 가로는 약 A 를 안 줌·줌, 세로는 8주 뒤 수축기 혈압이 내려간 양(mmHg)의 칸 평균입니다. 초록 선은 운동을 안 한 두 칸, 파란 선은 운동을 한 두 칸을 잇습니다. 보라 점선은 「효과가 그냥 더해진다면」 파란 선이 있어야 할 자리(초록 선과 나란한 선)이고, 주황 막대가 실제와의 차이, 곧 교호작용입니다. 아래 막대의 끝은 ±40 입니다. 이 쪽의 숫자와 자료는 모두 지어낸 것이고, 실제 약이나 운동의 효과가 아닙니다. 이 쪽은 통계 개념을 설명합니다.
1. 요인, 수준, 처리 조합
실험에서 결과에 영향을 줄지 알고 싶어 실험하는 사람이 정해 주는 것을 요인이라고 합니다. 약을 주는지, 운동을 하는지, 배양 온도, 비료의 양 같은 것입니다. 요인이 가질 수 있는 값은 수준입니다. 「약 A: 안 줌·줌」은 수준이 둘이고, 「용량: 0·10·20 mg」은 셋입니다.
요인마다 수준을 하나씩 골라 묶은 것이 처리 조합(칸)입니다. 요인 설계(요인배치법)는 처리 조합을 모두 시험합니다. 요인이 둘이고 수준이 둘씩이면 2 × 2 = 4 칸이 나오고, 이것을 2×2 요인 설계라고 부릅니다. 이 쪽의 예는 이렇습니다(지어낸 것).
| 약 A 안 줌 | 약 A 줌 | |
|---|---|---|
| 운동 함 | y₀₁: 운동만 | y₁₁: 둘 다 |
| 운동 안 함 | y₀₀: 둘 다 안 함 | y₁₀: 약 A 만 |
y 의 아래 첫째 숫자는 약 A(0 안 줌, 1 줌), 둘째 숫자는 운동(0 안 함, 1 함)입니다. 결과는 8주 뒤 수축기 혈압이 내려간 양(mmHg)이고, 칸마다 그 칸 사람들의 평균을 적습니다. 사람은 네 칸 가운데 하나에 무작위로 배정합니다. 그래야 칸끼리의 차이를 처리 때문이라고 말할 수 있습니다.
효과는 세 가지로 나눠 봅니다.
- 주효과: 한 요인을 바꿨을 때 결과가 평균적으로 얼마나 바뀌나. 다른 요인의 두 수준을 반반 섞어 평균 낸 값입니다. 약 A 의 주효과 = 약을 준 두 칸의 평균 − 안 준 두 칸의 평균.
- 단순 효과: 다른 요인을 한 수준에 묶어 두고 잰 효과. 운동을 안 하는 사람들에서 약 A 의 효과는
y₁₀ − y₀₀, 운동을 하는 사람들에서는y₁₁ − y₀₁입니다. - 교호작용: 단순 효과가 다른 요인의 수준에 따라 다른 것. 두 단순 효과의 차이
(y₁₁ − y₀₁) − (y₁₀ − y₀₀)로 잽니다. 0 이면 교호작용이 없습니다.
2. 교호작용 그림 읽는 법
위 실험의 그림을 교호작용 그림이라고 부릅니다. 가로에 한 요인의 수준을 놓고, 다른 요인의 수준마다 선을 하나씩 긋고, 세로에 칸 평균을 찍습니다. 읽는 법은 하나입니다. 선이 나란한가.
| 선의 모양 | 뜻 | 위 실험에서 |
|---|---|---|
| 나란하다 | 교호작용이 없다. 운동을 하든 안 하든 약 A 의 효과가 같다. 두 효과가 그냥 더해진다 | 「그냥 더해짐」 |
| 벌어지거나 좁아진다 | 교호작용이 있다. 효과의 방향은 같고 크기가 다르다(양적 교호작용) | 처음 값, 「같이 있을 때만」, 「서로 깎아 먹음」 |
| 엇갈린다 | 방향까지 뒤집힌다(질적 교호작용). 한쪽 집단에서는 올리고 다른 쪽에서는 내린다 | 「엇갈림」 |
- 선의 기울기는 그 선의 집단에서 가로 요인의 단순 효과입니다. 초록 선의 기울기는 운동을 안 할 때의 약 A 효과입니다.
- 두 선 사이의 세로 간격은 선 요인의 단순 효과입니다. 왼쪽 끝의 간격은 약을 안 줄 때의 운동 효과입니다.
- 가로와 선을 바꿔 그려도 교호작용의 크기는 같습니다(3절의 ⑤). 다만 선이 엇갈리는 모습은 어느 요인을 가로에 두느냐에 따라 보이기도 하고 안 보이기도 합니다. 두 가지로 다 그려 봅니다.
- 그림의 점은 평균입니다. 실제 자료에는 흔들림이 있어서 조금 벌어진 것은 우연일 수 있습니다. 우연인지는 6절의 분산분석으로 따집니다.
해 볼 것. ① 처음 값(2, 8, 6, 16)에서 약 A 의 주효과는 8, 운동의 주효과는 6, 교호작용은 4 입니다. 보라 점은 12 에, 실제 y₁₁ 은 16 에 있습니다. ② 오른쪽 위 점(y₁₁)을 12 로 끌어내리면 파란 선이 보라 점선에 겹치고 교호작용이 0 이 됩니다. 주효과는 6 과 4 로 바뀝니다. ③ 「같이 있을 때만」(2, 2, 2, 12)은 약 A 만으로도, 운동만으로도 효과가 0 인데 둘 다 하면 10 이 더 내려갑니다. 주효과는 5 와 5, 교호작용은 10 입니다. ④ 「서로 깎아 먹음」(2, 10, 8, 12)은 교호작용이 −4 입니다. 둘 다 한 칸이 따로의 효과를 더한 예상 16 보다 4 작은 12 입니다. ⑤ 「엇갈림」(4, 10, 10, 4)은 두 주효과가 모두 0 인데 교호작용은 −12 입니다. 약 A 는 운동을 안 하는 사람에게는 혈압을 6 더 내리고, 운동하는 사람에게는 6 덜 내립니다. 「약 A 는 효과가 없다」는 말은 어느 쪽 사람에게도 맞지 않습니다.
3. 식이 만들어지는 과정: 네 칸에서 세 효과까지
네 칸의 평균에서 세 효과(약 A 의 주효과, 운동의 주효과, 교호작용)를 하나씩 뽑아 봅니다. 그림은 위 실험의 네 평균을 그대로 씁니다. 위에서 점을 옮기면 여기도 바뀝니다.
| 칸 | 평균 | A 부호 | B 부호 | AB 부호 |
|---|
「다음」을 누르면 한 단계씩 넘어갑니다. 식이 한 줄씩 붙고(주황 바탕이 이번에 붙은 줄), 네모와 교호작용 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 마지막 단계에서는 맨 아래에 대비표(table of contrasts)가 나옵니다.
- 네 칸을 네모의 꼭짓점에. y₀₀ = 2(왼쪽 아래), y₁₀ = 8(오른쪽 아래), y₀₁ = 6(왼쪽 위), y₁₁ = 16(오른쪽 위). 네모의 변 하나는 「한 요인만 바꾼 두 칸」입니다. 아래 변은 운동을 안 한 채 약만 바꾼 두 칸입니다.
- A 의 효과: 오른쪽 변 − 왼쪽 변.
A = (y₁₀ + y₁₁) ÷ 2 − (y₀₀ + y₀₁) ÷ 2 = (8 + 16) ÷ 2 − (2 + 6) ÷ 2 = 12 − 4 = 8. 까닭: 오른쪽 변과 왼쪽 변은 운동한 칸과 안 한 칸을 하나씩 똑같이 가지고 있습니다. 그래서 빼면 운동의 몫이 지워지고 약 A 의 몫만 남습니다. 두 단순 효과 6 과 10 의 평균이기도 합니다. - B 의 효과: 위 변 − 아래 변.
B = (y₀₁ + y₁₁) ÷ 2 − (y₀₀ + y₁₀) ÷ 2 = 11 − 5 = 6. 까닭: 같은 방식입니다. 네 칸이 모두 A 의 효과에도, B 의 효과에도 쓰였습니다. 한 사람의 자료가 두 질문에 다 답합니다(9절의 숨은 반복). - 그냥 더해진다면.
예상 y₁₁ = y₀₀ + (y₁₀ − y₀₀) + (y₀₁ − y₀₀) = 2 + 6 + 4 = 12. 아무것도 안 한 칸에서 출발해, 약 A 만 줄 때 오른 만큼과 운동만 할 때 오른 만큼을 더했습니다. 오른쪽 그림의 보라 점이 이 예상이고, 초록 선과 나란한 보라 점선 위에 있습니다. 까닭: 「두 효과가 서로 상관없이 더해진다」는 가정을 y₁₁ 을 보기 전에 다른 세 칸만으로 세운 것입니다. 여기에 주효과 8 과 6 을 더하면 안 됩니다.2 + 8 + 6 = 16은 어떤 자료에서든 실제 y₁₁ 과 맞습니다. 주효과를 낼 때 이미 y₁₁ 을 썼기 때문입니다. - 교호작용: 실제 − 예상.
AB = y₁₁ − 예상 = 16 − 12 = 4. 예상을 풀어 넣으면y₁₁ − y₁₀ − y₀₁ + y₀₀ = (y₁₁ − y₀₁) − (y₁₀ − y₀₀) = 10 − 6 = 4. 운동을 할 때 약 A 의 효과(10)와 안 할 때의 효과(6)의 차이, 곧 차이의 차이입니다. 같은 식을(y₁₁ − y₁₀) − (y₀₁ − y₀₀) = 8 − 4 = 4로 묶으면 「약을 줄 때의 운동 효과 − 안 줄 때의 운동 효과」입니다. 교호작용은 두 요인에 대해 대칭이라 값이 하나입니다. - 대비표로 정리. 칸마다 + 나 − 를 붙여 더하면 세 효과가 한꺼번에 나옵니다. A 는 약을 준 칸이 +, B 는 운동한 칸이 +, AB 의 부호는 A 의 부호 × B 의 부호입니다.
| 칸 | 평균 | A | B | AB = A × B |
|---|---|---|---|---|
| y₀₀ 둘 다 안 함 | 2 | − | − | + |
| y₁₀ 약 A 만 | 8 | + | − | − |
| y₀₁ 운동만 | 6 | − | + | − |
| y₁₁ 둘 다 | 16 | + | + | + |
| 부호 × 평균의 합 | 16 | 12 | 4 | |
| 효과 | 16 ÷ 2 = 8 | 12 ÷ 2 = 6 | 4 |
A 와 B 는 「두 칸 평균 − 두 칸 평균」이라 합을 2 로 나눕니다. AB 는 합 그대로가 차이의 차이입니다. 책에 따라 AB 도 2 로 나눕니다. Box, Hunter, Hunter 의 책과 NIST 의 안내서처럼 대비표로 효과를 내는 곳에서는 세 효과를 모두 「+ 칸의 평균 − − 칸의 평균」으로 적습니다. 그러면 교호작용은 (2 + 16) ÷ 2 − (8 + 6) ÷ 2 = 9 − 7 = 2, 곧 차이의 차이의 반입니다. 같은 것을 다른 척도(scale)로 적을 뿐이니, 숫자를 읽을 때 어느 쪽인지 확인합니다(4절의 표).
해 볼 것. ① 「다음」을 다섯 번 눌러 마지막 단계에서 대비표가 A 16 ÷ 2 = 8, B 12 ÷ 2 = 6, AB 4 를 보이는지 보세요. ② 위 실험에서 「그냥 더해짐」을 누르고 ④·⑤ 단계를 보면 보라 점이 실제 y₁₁ 과 겹치고(예상 12, 실제 12) 교호작용이 0 입니다. ③ 「엇갈림」을 누르고 ② 단계를 보면 오른쪽 변과 왼쪽 변의 평균이 7 과 7 로 같아 A 의 효과가 0 입니다. 그런데 ⑤ 단계에서 교호작용은 실제 4 − 예상 16 = −12 입니다.
4. 손으로 풀어 보기
네 칸의 평균 2, 8, 6, 16 으로 세 효과와, 같은 것을 다른 방식으로 적은 숫자를 모두 구해 봅니다.
| 무엇 | 식 | 값 |
|---|---|---|
| 운동 안 할 때 약 A 의 효과 | y₁₀ − y₀₀ = 8 − 2 | 6 |
| 운동 할 때 약 A 의 효과 | y₁₁ − y₀₁ = 16 − 6 | 10 |
| 약 A 의 주효과 | (6 + 10) ÷ 2, 곧 (8 + 16) ÷ 2 − (2 + 6) ÷ 2 | 8 |
| 약 안 줄 때 운동의 효과 | y₀₁ − y₀₀ = 6 − 2 | 4 |
| 약 줄 때 운동의 효과 | y₁₁ − y₁₀ = 16 − 8 | 8 |
| 운동의 주효과 | (4 + 8) ÷ 2 | 6 |
| 교호작용(차이의 차이) | 10 − 6 또는 8 − 4 | 4 |
| 교호작용(대비표의 효과, 반) | 4 ÷ 2 | 2 |
주효과는 두 단순 효과의 평균입니다. 그래서 교호작용이 0 이 아니면 주효과 8 은 어느 집단의 실제 효과(6 이나 10)와도 다릅니다.
회귀식으로 적으면
같은 네 칸을 회귀 식 하나로 적을 수 있습니다. 요인을 0 과 1 로 적느냐, −1 과 +1 로 적느냐에 따라 계수가 달라집니다.
| 요인을 적는 법 | 식 | 교호작용 계수 |
|---|---|---|
| 0 과 1(a = 1 이면 약 A 를 줌, b = 1 이면 운동함) | y = 2 + 6·a + 4·b + 4·a·b | 4: 차이의 차이 그대로 |
| −1 과 +1 | y = 8 + 4·x_A + 3·x_B + 1·x_A·x_B | 1: 차이의 차이의 4분의 1 |
a = b = 1 을 넣으면 2 + 6 + 4 + 4 = 16, x_A = x_B = −1 을 넣으면 8 − 4 − 3 + 1 = 2 로, 두 식 모두 네 칸에 맞습니다. 이렇게 읽으면 틀린다: 0 과 1 로 적은 식에서 a 의 계수 6 은 약 A 의 주효과가 아닙니다. 운동을 안 할 때(b = 0)의 단순 효과입니다. 교호작용 항을 넣은 회귀 결과를 읽을 때 흔히 하는 실수입니다.
칸마다 사람이 있으면: 분산분석을 손으로
칸마다 두 사람씩 있다고 합시다. 둘 다 안 함 1, 3 / 약 A 만 7, 9 / 운동만 5, 7 / 둘 다 15, 17. 칸 평균은 위와 같은 2, 8, 6, 16 이고 전체 평균은 8 입니다. 6절의 식을 그대로 따라갑니다.
- 전체 제곱합. 값마다 전체 평균 8 까지 거리를 제곱해 더합니다. 거리는 −7, −5, −1, 1, −3, −1, 7, 9 라서
49 + 25 + 1 + 1 + 9 + 1 + 49 + 81 = 216. - 오차(error, 칸 안) 제곱합. 값마다 그 칸 평균까지의 거리. 칸마다 1² + 1² = 2 라서
2 × 4 = 8. - 약 A 의 제곱합. 약을 준 네 사람의 평균 12, 안 준 네 사람의 평균 4 는 전체 평균에서 4 씩 떨어져 있습니다.
4 × 4² + 4 × 4² = 128. 2×2 에서는n × (주효과)² = 2 × 8² = 128로도 구합니다. - 운동의 제곱합.
n × (주효과)² = 2 × 6² = 72. - 교호작용 제곱합.
n × (차이의 차이)² ÷ 4 = 2 × 4² ÷ 4 = 8. - 확인.
128 + 72 + 8 + 8 = 216. 네 몫이 전체에 꼭 맞습니다. - F. 몫마다 제곱합을 자유도로 나눈 값(평균제곱)을 오차의 평균제곱
8 ÷ 4 = 2로 나눕니다. 약 A 는 128 ÷ 2 = 64, 운동은 72 ÷ 2 = 36, 교호작용은 8 ÷ 2 = 4. - p. 자유도 (1, 4) 인 F 분포에서 그보다 큰 값이 나올 확률은 약 A 0.0013, 운동 0.0039, 교호작용 0.116 입니다.
교호작용 4 는 손 예제 그대로인데 p 는 0.116 입니다. 같은 자료에서 주효과 8 과 6 은 뚜렷하게 잡혔습니다. 칸마다 두 사람으로는 이 크기의 교호작용을 가려내기 어렵습니다(8절).
5. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 어디서 보나 |
|---|---|---|
| 교호작용은 대칭이다 | A 의 효과가 B 에 따라 달라지는 만큼 B 의 효과도 A 에 따라 달라진다. 값이 하나다 | 3절의 ⑤: 10 − 6 = 8 − 4 |
| 교호작용이 0 이면 주효과 = 단순 효과 | 선이 나란하면 「약 A 의 효과」가 숫자 하나로 정해진다 | 「그냥 더해짐」 |
| 주효과는 평균이다 | 교호작용이 있으면 주효과는 두 단순 효과의 평균일 뿐이고, 어느 집단의 효과와도 다를 수 있다 | 「엇갈림」의 주효과 0 |
| 세 효과는 서로 겹치지 않는다 | 칸 크기가 같으면 대비표의 세 열이 서로 직교해서, 제곱합이 깔끔히 나뉘고 더하면 전체가 된다 | 6절의 분산분석표 |
| 교호작용은 척도에 달렸다 | 더하기 척도에서 있던 것이 로그 척도에서 사라지기도, 거꾸로 생기기도 한다. 엇갈림은 어떤 척도에서도 남는다 | 10절 |
| 교호작용 추정값은 더 흔들린다 | 같은 사람 수로 차이의 차이의 표준오차가 주효과의 두 배다 | 8절 |
6. 자료로 확인하기: 이원 분산분석(이원배치법)
실제 실험에서는 칸마다 여러 사람이 있고 사람마다 값이 흔들립니다. 칸 평균이 조금 벌어졌다고 교호작용이 있다고 할 수는 없습니다. 이원 분산분석은 모든 사람의 값이 흩어진 정도(제곱합)를 넷으로 나누고, 각 몫이 우연으로 볼 수 있는 것보다 큰지 봅니다. 요인 하나일 때의 분산분석을 요인 둘로 늘린 것입니다.
전체 = Σ (값 − 전체 평균)²
약 A = 2n × Σ (약 A 수준의 평균 − 전체 평균)² 수준 둘에 대해 더한다
운동 B = 2n × Σ (운동 수준의 평균 − 전체 평균)²
A × B = n × Σ (칸 평균 − 약 A 수준 평균 − 운동 수준 평균 + 전체 평균)² 칸 넷에 대해
오차 = Σ (값 − 그 칸의 평균)²
전체 = 약 A + 운동 B + A × B + 오차 칸마다 사람 수가 같을 때
F = (그 몫의 제곱합 ÷ 자유도) ÷ (오차 제곱합 ÷ 오차 자유도)
Σ: 괄호 안의 것을 모두 더합니다.n: 칸마다 사람 수.전체: 모든 사람의 값이 흩어진 정도(제곱합).약 A,운동 B: 두 요인 각각의 몫.A × B: 교호작용의 몫.오차: 같은 칸 안에서 사람마다 흔들린 몫.F: 그 몫이 우연으로 볼 수 있는 것보다 큰지 보는 값.
n 은 칸마다 사람 수입니다. 자유도는 약 A, 운동, 교호작용이 1 씩, 오차가 4(n − 1) 입니다. p 값은 가설검정의 p 값과 같은 뜻으로, 「그 효과가 없다면 이만큼 큰 F 가 나올 확률」입니다. F 분포의 넓이는 이 쪽의 스크립트가 직접 계산합니다(불완전 베타 함수).
운동 안 함(한 사람)운동 함(한 사람)칸 평균참값(위 실험의 평균)
| 변동 요인 | 제곱합 | 자유도 | 평균제곱 | F | p |
|---|
점 하나가 한 사람입니다(지어낸 자료). 칸마다 참값은 위 실험의 네 평균이고(보라 마름모), 사람마다 표준편차만큼 흔들린 값을 고정 시드 난수기로 지어냅니다. 검은 가로 막대가 자료로 낸 칸 평균입니다. 위 실험에서 점을 옮기면 참값이 바뀌어 자료도 같이 옮겨 갑니다. 「자료 다시 뽑기」는 같은 참값으로 사람을 새로 뽑고, 「처음 자료」는 처음 시드, 표준편차 6, 칸마다 10명으로 돌아갑니다. 「같은 실험 1,000번」은 지금 설정으로 사람을 1,000번 새로 뽑아 효과마다 p < 0.05 가 나온 비율을 셉니다(늘 같은 시드들을 써서 같은 답이 나옵니다).
해 볼 것. 위 실험을 처음 값(2, 8, 6, 16)에 두고 합니다. ① 처음 자료(표준편차 6, 칸마다 10명)의 칸 평균은 −0.9, 8.51, 3.57, 16.55 이고 차이의 차이는 3.57 입니다. 약 A 는 F = 39.41(p < 0.001), 운동은 F = 12.3(p = 0.001)으로 유의한데, 교호작용은 F = 1, p = 0.324 입니다. 참값의 교호작용 4 가 있는데도 잡히지 않았습니다. ② 사람 수를 40 으로 늘리면 교호작용이 F = 4.7, p = 0.032 로 잡히고 주황 안내가 뜹니다. ③ 「같은 실험 1,000번」을 누르면 칸마다 10명일 때 p < 0.05 가 나온 비율이 약 A 98.1%, 운동 87.3%, 교호작용 14.8% 입니다. 40명이면 교호작용 54.3%, 60명이면 72.6% 입니다. ④ 「처음 자료」로 돌아가 「자료 다시 뽑기」를 두 번 누르면 교호작용이 F = 13.33, p < 0.001 로 유의하고, 차이의 차이가 10.08 로 참값 4 의 두 배가 넘습니다. 잡힐 확률이 낮은 효과가 우연히 잡히면 실제보다 크게 추정되기 쉽습니다. ⑤ 위 실험에서 「그냥 더해짐」을 누르고 칸마다 10명으로 1,000번을 돌리면 교호작용의 비율은 5.1% 로, 유의수준 5% 와 거의 같습니다. 교호작용이 없는데 우연히 잡히는 비율입니다.
이렇게 읽으면 틀린다
- 「교호작용의 p 가 0.05 보다 크니 교호작용이 없다.」 틀립니다. 이 자료로는 가려낼 증거가 모자라다는 뜻입니다. 위 ① 처럼 실제로 있어도 자주 놓칩니다. 교호작용의 크기와 신뢰구간을 같이 봅니다.
- 「p 가 작으니 효과가 크다.」 틀립니다. 사람이 많으면 작은 효과에도 p 가 작아집니다. 효과의 크기는 칸 평균의 차이로 따로 적습니다.
- 「약 A 는 p < 0.001 로 효과가 있다」로 끝내기. 교호작용이 있으면 이 문장은 「운동하는 사람과 안 하는 사람을 반반 섞었을 때 평균적으로」라는 뜻입니다(7절).
칸마다 사람 수가 다르면 제곱합이 이렇게 꼭 맞게 나뉘지 않습니다. 어느 순서로 나누느냐(책에서 유형 I, II, III 제곱합이라 부르는 것)에 따라 표가 달라집니다. 이 쪽의 실험은 칸 크기를 같게 둡니다.
7. 교호작용이 있을 때 주효과를 말하는 법
주효과는 다른 요인의 두 수준에 걸쳐 평균 낸 값입니다. 교호작용이 있으면 이 평균은 어느 집단의 실제 효과와도 다릅니다. 손 예제에서 약 A 의 주효과 8 은 운동하는 사람의 10 도, 안 하는 사람의 6 도 아닙니다.
- 교호작용을 먼저 봅니다. 교호작용 그림을 그리고, 크기와 신뢰구간을 봅니다.
- 있으면 수준별 효과를 따로 적습니다. 「운동을 안 한 사람에서 약 A 는 혈압을 6 mmHg 더 내렸고, 운동한 사람에서는 10 mmHg 더 내렸다.」
- 주효과를 적을 때는 단서를 붙입니다. 「운동한 사람과 안 한 사람을 반반 둔 이 실험에서 평균적으로 8 mmHg.」 이 평균은 실험에 둔 수준의 비율(여기서는 반반)에 달려 있습니다. 운동하는 사람이 30% 인 집단이라면 그 집단의 평균 효과는
0.7 × 6 + 0.3 × 10 = 7.2입니다. - 엇갈림이면 주효과 숫자 하나는 쓰지 않습니다. 「엇갈림」에서 약 A 의 주효과는 0 이지만, 「약 A 는 효과가 없다」는 어느 쪽 사람에게도 틀린 말입니다.
집단마다 효과를 재고 그 가운데 몇 개를 골라 비교하면 다중 비교 문제가 생깁니다. 무엇을 비교할지는 자료를 보기 전에 정해 둡니다.
8. 교호작용을 찾으려면 사람이 훨씬 많이 든다
칸 평균 하나는 사람마다의 표준편차 σ 때문에 σ ÷ √n 만큼 흔들립니다(표준오차). 서로 다른 칸 넷의 평균을 더하거나 빼면 분산(흔들림의 제곱)이 더해집니다.
- 주효과 = (두 칸의 합 − 두 칸의 합) ÷ 2. 분산은
4 × σ²/n ÷ 2² = σ²/n, 표준오차는σ ÷ √n. - 교호작용(차이의 차이) = 칸 넷을 더하고 빼기만 하고 나누지 않습니다. 분산은
4 × σ²/n, 표준오차는2σ ÷ √n. 주효과의 두 배입니다.
표준오차를 반으로 줄이려면 사람이 네 배 듭니다. 그래서 같은 크기의 교호작용을 주효과만큼 잘 잡으려면 사람이 4배, 교호작용이 주효과의 반 크기라면 16배가 듭니다. 요인 실험에서는 교호작용이 주효과보다 작다고 보는 일이 많지만 늘 그렇지는 않으니, 계획할 때 찾고 싶은 교호작용의 크기를 따로 정합니다. 6절의 「같은 실험 1,000번」에서 칸마다 10명일 때 약 A(주효과 8)는 98.1% 잡혔는데 교호작용(차이의 차이 4)은 14.8% 만 잡혔습니다.
교호작용을 보는 것이 목적이라면 표본 크기를 교호작용의 크기에 맞춰 계산합니다. 주효과에 맞춰 정한 사람 수로는 검정력이 낮아 교호작용을 놓치기 쉽고, 그때 우연히 유의하게 나온 교호작용은 크기가 부풀려져 있기 쉽습니다(6절의 해 볼 것 ④).
9. 한 번에 하나씩 대 요인 설계
한 번에 하나씩 바꾸는 실험은 출발 조합(둘 다 안 함)을 하나 두고, 요인마다 그것만 바꾼 조합을 시험합니다. 요인이 둘이면 둘 다 안 함, 약 A 만, 운동만의 세 조합입니다. 네모의 세 꼭짓점만 보고 둘 다 한 칸(y₁₁)은 시험하지 않습니다.
- 교호작용을 볼 수 없습니다. 교호작용은 y₁₁ 이 예상과 얼마나 다른가인데, y₁₁ 이 없습니다.
- 재는 것이 다릅니다. 한 번에 하나씩의 「약 A 의 효과」는 운동을 안 할 때의 단순 효과(y₁₀ − y₀₀)뿐입니다. 교호작용이 있으면 운동하는 사람에게는 맞지 않을 수 있습니다.
- 같은 횟수로 덜 정확합니다. 요인 설계에서는 모든 사람이 약 A 의 효과에도, 운동의 효과에도 쓰입니다. Fisher(1935)는 이것을 숨은 반복(hidden replication)이라고 불렀습니다. 한 번에 하나씩은 약 A 의 효과에 출발 조합과 약 A 만 한 조합의 사람만 씁니다.
아래 실험은 두 방법에 같은 횟수를 주고 비교합니다. 횟수는 두 방법 모두 조합마다 똑같이 나눠지게 (k + 1) × 2^k 번으로 잡았습니다.
| 같은 번을 쓸 때 | 한 번에 하나씩 | 요인 설계 |
|---|---|---|
| 시험하는 조합 | ||
| 조합마다 횟수 | ||
| 한 요인의 효과에 쓰는 횟수 | ||
| 그 효과의 흔들림(표준오차, σ 의 몇 배) | ||
| 볼 수 있는 교호작용(그 가운데 둘씩 얽힌 것) | 0 | () |
왼쪽은 한 번에 하나씩, 오른쪽은 요인 설계입니다. 채운 점이 시험하는 조합, 빈 점이 시험하지 않는 조합이고, 점 옆 숫자가 그 조합의 횟수입니다. 요인이 둘이면 네모, 셋이면 정육면체이고, 넷부터는 조합을 점 격자로 늘어놓았습니다. 흔들림은 사람마다의 표준편차 σ 를 1 로 잡은 표준오차입니다.
해 볼 것. ① 요인 2개: 같은 12번으로 한 번에 하나씩은 조합 3개에 4번씩, 요인 설계는 조합 4개에 3번씩입니다. 약 A 의 효과에 한 번에 하나씩은 8번(4번 대 4번), 요인 설계는 12번(6번 대 6번)을 써서 흔들림이 σ × 0.71 대 σ × 0.58 입니다. 한 번에 하나씩이 같은 흔들림을 얻으려면 횟수가 1.5 배 듭니다. ② 요인 3개: 조합 8개, 같은 32번에서 흔들림 0.5 대 0.35, 횟수의 비 2 배. 교호작용은 요인 설계만 4개(둘씩 얽힌 것 3개, 셋이 얽힌 것 1개)를 봅니다. ③ 요인 6개: 조합 64개, 횟수의 비 3.5 배, 볼 수 있는 교호작용 57개(둘씩 얽힌 것 15개). 수준이 셋씩이면 조합이 3^6 = 729 개입니다.
까닭은 이렇습니다. 같은 N 번을 쓸 때 요인 설계는 한 요인의 효과를 N/2 번 대 N/2 번으로 재고, 한 번에 하나씩은 N/(k + 1) 번 대 N/(k + 1) 번으로 잽니다. 분산은 횟수에 반비례하므로, 한 번에 하나씩이 같은 정확도를 얻으려면 (N/2) ÷ (N/(k + 1)) = (k + 1) ÷ 2 배의 횟수가 듭니다. 요인이 많을수록 차이가 커집니다. Fisher(1935)는 이 두 장점(같은 횟수로 더 정확함, 교호작용까지 봄)에 셋째를 더했습니다. 다른 요인들을 바꿔 가며 얻은 결론이라 더 넓은 조건에서 통한다는 것입니다. 조건을 하나로 꼭 묶어 둔 실험의 결론은 그 조건에서만 확인된 것입니다.
조합이 너무 많을 때: 부분 요인 설계
요인이 k 개면 수준이 둘씩이라도 조합이 2^k 개입니다. 6개면 64, 10개면 1,024 입니다. NIST 안내서는 요인이 5개 이상이면 모든 조합을 다 하는 설계를 권하지 않습니다. 이때 쓰는 것이 부분 요인 설계입니다. 조합 가운데 잘 고른 일부(반, 4분의 1 같은)만 시험합니다. 대신 어떤 효과들이 서로 구별되지 않게 섞입니다(별칭). 예를 들어 요인 4개의 반(8 조합)만 하는 흔한 설계에서는 주효과가 셋이 얽힌 교호작용과 같은 숫자로 나옵니다. 셋 이상이 얽힌 교호작용은 작다고 보고, 그것과 섞이는 것은 받아들이는 셈입니다. 어떤 일부를 고르는지가 설계의 핵심이고, Box, Hunter, Hunter 의 6장이 이것을 다룹니다.
10. 척도에 따라 생겼다 사라지는 교호작용
배양 접시의 세포 수를 생각합니다(지어낸 자료). 아무것도 넣지 않으면 100개, 물질 A 를 넣으면 2배인 200개, 물질 B 를 넣으면 3배인 300개입니다. 둘 다 넣었을 때 두 배율이 그대로 곱해지면 100 × 2 × 3 = 600개입니다. 두 물질은 서로 상관없이 제 몫을 했습니다. 그런데 원래 척도로 보면 교호작용이 (600 − 300) − (200 − 100) = 200 입니다.
물질 B 없음물질 B 넣음초록 선과 나란한 선교호작용
「원래 척도」와 「로그 척도」를 번갈아 눌러 보세요. 점들이 새 척도의 자리로 옮겨 갑니다. 막대와 숫자 칸으로 물질 A 만, 물질 B 만 넣은 칸의 세포 수(100 ~ 400)를 바꿀 수 있고, 둘 다 넣은 칸은 고른 자료의 규칙으로 정해집니다. 배로 커지는 자료는 둘 다 = A 만 × B 만 ÷ 100, 더해지는 자료는 둘 다 = A 만 + B 만 − 100 입니다.
로그 척도에서는 같은 간격이 같은 배율입니다. 100 에서 200 까지와 300 에서 600 까지가 같은 길이(둘 다 2배)라서 선이 나란해집니다. 로그로 바꾼 값으로 차이의 차이를 내면 log 600 − log 300 − log 200 + log 100 = log(600 × 100 ÷ (300 × 200)) = log 1 = 0 입니다. 그러니 「교호작용이 있다」는 말에는 늘 「어느 척도에서」가 붙습니다. 결과를 그대로 넣은 분산분석과 회귀가 보는 것은 더하기 척도에서의 교호작용입니다.
- 거꾸로도 됩니다. 「더해지는 자료」(100, 200, 300, 400)는 원래 척도에서 나란하지만 로그 척도에서는 교호작용이 −0.176 입니다.
- 엇갈림은 척도를 바꿔도 남습니다. 순서가 뒤집힌 것이라, 순서를 지키는 척도 바꾸기(로그, 제곱근)로는 없어지지 않습니다.
- 비율로 재는 분석은 곱하기 척도입니다. 로지스틱 회귀와 오즈비의 교호작용은 오즈의 로그 척도에서의 교호작용이라, 같은 자료를 위험의 차이로 보면 답이 다를 수 있습니다.
- Box, Hunter, Hunter 의 8장(Factorial Designs and Data Transformation)은 척도를 바꿔 모형을 단순하게 만드는 일을 다룹니다. 척도는 자료를 본 뒤에 마음에 드는 쪽으로 고르지 않고, 무엇이 자연스러운지(더해지는지, 곱해지는지)를 먼저 생각해 정합니다.
해 볼 것. ① 처음(배로 커지는 자료, 원래 척도)은 100, 200, 300, 600 이고 교호작용 200 입니다. 「로그 척도」를 누르면 선이 나란해지고 로그 척도의 차이의 차이가 0 입니다. ② 「더해지는 자료」를 누르면 100, 200, 300, 400 이 되어 원래 척도의 교호작용은 0, 로그 척도는 −0.176 입니다. ③ 배로 커지는 자료에서 물질 A 만을 100 으로 내리면(물질 A 의 효과 없음) 두 척도 모두 교호작용이 0 입니다.
11. 하위군 분석과 교호작용
임상시험에서 「이 약이 여자에게, 나이 든 사람에게 더 잘 듣나」를 묻는 것을 하위군 분석이라고 합니다. 이것은 「약 × 성별」의 교호작용을 묻는 것과 같습니다. 성별을 요인처럼 두고 2×2 표를 그리는 셈입니다. 다만 성별은 실험하는 사람이 정해 주는 것이 아니라 사람이 원래 가진 특징이라 무작위로 배정되지 않습니다. 교호작용이 보여도 성별 때문이 아니라 성별과 같이 다니는 다른 무엇 때문일 수 있습니다.
이렇게 읽으면 틀린다: 「남자에서는 p = 0.01, 여자에서는 p = 0.30 이니 약은 남자에게만 듣는다.」 한쪽이 유의하고 다른 쪽이 유의하지 않다는 것은 두 효과가 다르다는 증거가 아닙니다. Gelman 과 Stern(2006)의 논문 제목처럼 「유의함과 유의하지 않음의 차이 자체는 유의하지 않을 수 있습니다」. 두 집단의 효과가 다른지는 교호작용을 직접 검정해서 봅니다.
하위군을 많이 나눠 보면 우연히 「특별한 집단」이 나옵니다. 집단마다의 효과가 실제로 모두 같아도, 「약 × 집단」 교호작용을 20번 검정하면 α = 0.05 에서 평균 1번은 우연히 유의하게 나옵니다. 그래서 하위군 분석은 시험 전에 몇 개만 정해 두고, 그 밖의 것은 다음 시험에서 확인할 「가설 만들기」로만 적습니다(다중 비교, 임상시험 설계).
12. 블록과 요인은 다르다
실험을 여러 병원에서 하거나 여러 날에 나눠 하면, 병원이나 날에 따라 결과가 흔들립니다. 이렇게 관심은 없지만 결과를 흔드는 것으로 실험 단위를 묶은 것이 블록입니다(블록 설계). 분석표에서는 요인처럼 한 줄을 차지하지만 쓰임이 다릅니다.
| 요인 | 블록 | |
|---|---|---|
| 왜 두나 | 그 효과를 알고 싶다 | 흔들림을 빼서 처리끼리의 비교를 정확하게 하려고 |
| 누가 정하나 | 실험하는 사람이 수준을 정해 무작위로 배정한다 | 이미 정해져 있다(병원, 날, 배양 접시 묶음). 무작위로 배정할 수 없다 |
| 교호작용 | 요인끼리의 교호작용을 본다 | 보통 블록 × 처리 교호작용은 없다고 가정한다 |
| 결론 | 「약 A 의 효과는 8」 | 「병원 3 이 낮았다」는 관심 밖이다 |
요인 설계를 블록 안에서 하기도 합니다. 병원마다 네 칸을 모두 두고 그 안에서 무작위로 배정하는 식입니다. Fisher(1935)도 요인 실험의 시험들을 블록으로 나눠 하는 경우를 같은 장에서 다룹니다.
어디에 쓰나
- 두 약을 한 시험에서(2×2 요인 임상시험). 지어낸 예: 사람 400명을 가짜 약 둘, 약 A 와 가짜 약, 가짜 약과 약 B, 약 A 와 약 B 의 네 집단에 100명씩 무작위로 배정합니다. 약 A 의 효과는 약 A 를 받은 200명과 안 받은 200명으로 잽니다. 약 B 의 효과도 같은 400명으로 잽니다. 시험 하나로 두 질문에 답하는 셈입니다. 이 셈이 맞으려면 두 약의 효과가 그냥 더해져야 합니다. 교호작용이 있으면 「약 A 의 효과」는 약 B 를 받은 사람과 안 받은 사람의 평균일 뿐이라, 네 집단을 따로 비교해야 하고 사람이 더 듭니다(임상시험 설계).
- 웹의 다변량 시험. 제목 문구 둘 × 버튼 색 둘 = 화면 네 가지를 방문자에게 무작위로 보여 주는 것은 2×2 요인 설계와 같은 생각입니다. A/B 시험 둘을 따로 하는 것보다 같은 방문자로 두 질문에 답하고, 「이 문구에는 이 색이 낫다」 같은 교호작용까지 봅니다. 요소가 늘면 조합이 2^k 로 불어나 방문자가 많이 들어, 일부 조합만 보이는 부분 요인 설계를 쓰기도 합니다.
- 실험실 조건 찾기. 배양 온도, 영양 물질, 산소 농도처럼 바꿀 것이 여럿일 때 한꺼번에 바꿔 어느 것이 크게 듣는지 고릅니다.
- 공정 고치기. 온도, 압력, 시간처럼 설정이 여럿인 공정을 고치는 실험. Box, Hunter, Hunter 의 책이 주로 다루는 곳입니다.
- 섞는 물질의 양. Fisher(1935)가 요인 설계를 설명할 때 든 예가 이것입니다. 네 가지 성분을 많이·적게 넣는 16가지 섞음을 모두 만들어 시험합니다.
자주 묻는 것
교호작용과 교란은 같은 말인가요?
아닙니다. 교란은 비교하는 집단끼리 다른 무엇이 섞여 효과를 잘못 추정하게 만드는 것이고, 무작위 배정으로 막습니다. 교호작용은 효과 자체가 다른 요인의 수준에 따라 실제로 다른 것입니다. 무작위로 배정해도 교호작용은 그대로 남습니다. 역학에서는 교호작용과 비슷한 뜻으로 효과 수정이라는 말을 씁니다.
교호작용이 유의하지 않으면 없다고 봐도 되나요?
아닙니다. 2×2 에서 차이의 차이는 표준오차가 주효과의 두 배라서, 같은 크기를 같은 확률로 잡으려면 사람이 4배 듭니다. 유의하지 않다는 것은 이 자료로 가려낼 증거가 모자라다는 뜻입니다. 교호작용의 크기와 신뢰구간을 같이 적습니다.
교호작용이 있으면 주효과는 쓸모없나요?
방향이 같고 크기만 다르면 「다른 요인의 수준을 이 비율로 섞었을 때 평균적으로」라는 단서를 붙여 쓸 수 있습니다. 그래도 수준별 효과를 같이 적습니다. 선이 엇갈려 방향이 뒤집히면 주효과 숫자 하나는 어느 집단에도 맞지 않으니 수준별 효과만 적습니다.
요인이 많으면 조합이 너무 많은데 어떻게 하나요?
요인 k 개가 수준 둘씩이면 조합이 2^k 개입니다(6개면 64). 셋 이상이 얽힌 교호작용은 작다고 보고 잘 고른 일부 조합만 시험하는 부분 요인 설계를 씁니다. 대신 어떤 효과들이 서로 섞여 구별되지 않으니, 무엇과 무엇이 섞이는지 알고 고릅니다.
2×2 의 교호작용 숫자가 책과 프로그램마다 다른 까닭은 무엇인가요?
같은 것을 다른 척도로 적기 때문입니다. 차이의 차이 (y₁₁ − y₀₁) − (y₁₀ − y₀₀) 를 그대로 쓰기도 하고, 대비표로 효과를 내는 책과 안내서(Box, Hunter, Hunter, NIST)는 그 반을 씁니다. 회귀에서 요인을 0 과 1 로 적으면 교호작용 계수가 차이의 차이와 같고, −1 과 +1 로 적으면 그 4분의 1 입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 알고 싶어 실험하는 사람이 정해 주는 것 | 요인, 인자(factor) |
| 요인이 가지는 값 | 수준(level) |
| 칸 | 처리 조합(treatment combination), 셀(cell) |
| 모든 조합을 시험하는 설계 | (완전) 요인 설계(요인배치법, full factorial design). 수준이 둘씩이면 2^k 요인 설계(2^k 요인배치법) |
| 일부 조합만 시험하는 설계 | 부분 요인 설계(일부실시법, fractional factorial design) |
| 평균적인 효과 | 주효과(main effect) |
| 다른 요인을 한 수준에 묶어 잰 효과 | 단순 효과(simple effect), 조건부 효과(conditional effect) |
| 차이의 차이 | 교호작용, 상호작용(interaction). 역학에서는 효과 수정(effect modification)과 비슷하게 쓴다 |
| 크기만 다름 / 방향이 뒤집힘 | 양적 교호작용(quantitative interaction) / 질적 교호작용(qualitative, crossover interaction) |
| 같이 있으면 더 큼 / 더 작음 | 상승(synergy) / 길항(antagonism). 약리학에서는 더 엄밀한 기준을 따로 쓰기도 한다 |
| 교호작용 그림 | interaction plot, 프로파일 그림(profile plot) |
| 부호 표 | 대비표(table of contrasts), 설계 행렬(design matrix), 모형 행렬(model matrix) |
| 부호를 붙여 더한 값 | 대비(contrast) |
| 한 사람의 자료가 여러 효과에 쓰임 | 숨은 반복(hidden replication) |
| 한 번에 하나씩 바꾸기 | one-factor-at-a-time(OFAT) |
| 요인 둘의 분산분석 | 이원 분산분석(이원배치법, two-way ANOVA) |
| 흩어짐을 나눈 몫 / 자유도로 나눈 것 | 제곱합(sum of squares, SS) / 평균제곱(mean square, MS). 자유도는 degrees of freedom(df) |
| 칸 안의 흩어짐 | 오차, 잔차(error, residual) |
| 칸마다 사람 수가 같음 | 균형 설계(balanced design) |
| 서로 구별되지 않게 섞임 | 별칭(aliasing), 교락(confounding). 일부러 블록과 겹치게 두는 기법은 교락법 |
| 결과를 흔드는 것으로 묶은 집단 | 블록(block) |
| 하위 집단 분석 | 하위군 분석, 부분군 분석(subgroup analysis) |
| 웹의 다변량 시험 | multivariate test(MVT) |
출처
- R. A. Fisher, The Design of Experiments, Oliver and Boyd, 1935(Internet Archive 대출본). 6장 「The Factorial Design in Experimentation」: 한 번에 하나씩 바꾸는 방식의 비판(37절), 네 성분 16가지 섞음의 예와 교호작용이 두 요인에 대칭이라는 것, 요인 실험을 블록으로 나누기(38절), 더 넓은 조건에서 통하는 결론(39절), 숨은 반복(40절).
- George E. P. Box, J. Stuart Hunter, William G. Hunter, Statistics for Experimenters, 2nd ed., Wiley, 2005. 5장 Factorial Designs at Two Levels(5.5 주효과, 5.6 교호작용, 5.9 대비표), 6장 Fractional Factorial Designs, 8장 Factorial Designs and Data Transformation.
- NIST/SEMATECH e-Handbook of Statistical Methods: 5.3.3.3 Full factorial designs(2^k 조합 수, 요인 5개 이상이면 권하지 않음), 5.3.3.3.1 Two-level full factorial designs(대비표, 교호작용 열은 두 열의 곱), 5.3.3.4 Fractional factorial designs, 5.5.9.4 Interaction effects matrix plot(교호작용 효과 = + 쪽 평균 − − 쪽 평균, 교호작용의 수 2^k − 1 − k), 7.4.3.7 The two-way ANOVA(제곱합 식, 칸 크기가 같을 때의 나뉨), 1.3.6.6.5 F Distribution(F 분포의 누적 넓이를 불완전 베타 함수로).
- NIST DLMF §8.17 Incomplete Beta Functions. 실험 스크립트가 F 분포의 넓이를 낼 때 쓰는 연분수(8.17(v)).
- Andrew Gelman, Hal Stern, The Difference Between “Significant” and “Not Significant” is not Itself Statistically Significant, The American Statistician 60(4), 2006.