1종·2종 오류와 검정력

새 혈압약을 시험했더니 「유의하지 않다」가 나왔습니다. 약이 듣지 않는다는 뜻일까요, 실험이 작아서 놓친 것일까요? 검정이 틀리는 두 가지 길과, 있는 효과를 잡아낼 확률(검정력)을 두 곡선으로 직접 움직여 봅니다. 이 쪽의 약, 사람, 숫자는 모두 지어낸 것이고, 통계 개념만 설명합니다.

한 줄 답. 검정은 두 가지로 틀릴 수 있습니다. 효과가 없는데 있다고 하는 것이 1종 오류(확률 α), 효과가 있는데 놓치는 것이 2종 오류(확률 β)입니다. 검정력은 있는 효과를 잡아낼 확률(1 − β)이고, 효과가 클수록, 표본이 클수록, 표준편차가 작을수록, α 를 느슨하게 잡을수록 커집니다.

판정: 「효과 있다」(유의함)판정: 「효과 없다」(유의하지 않음)
실제: 효과 없음1종 오류(헛울림) α = 바르게 「없음」 1 − α =
실제: 효과 있음 바르게 「있음」 = 검정력 1 − β = 2종 오류(못 울림) β =

막대와 숫자 칸으로 값을 바꾸고, 그림을 누르거나 끌어 임계값을 옮겨 보세요. 임계값을 옮기면 α 가 따라 바뀝니다(0.001 ~ 0.2). 곡선 아래의 넓이가 확률입니다. 초록 곡선(효과 없음) 아래는 초록 칠(1 − α)과 주황 「/」 빗금(α)으로, 파란 곡선(효과 있음) 아래는 파랑 칠(1 − β)과 보라 「\」 빗금(β)으로 나뉩니다. 그림에도 글자로 적었습니다. 처음 값은 손 예제(6~7절)와 같습니다.

1. 검정이 틀리는 두 가지

약이 혈압을 낮추는지 알아보려고 사람들을 두 집단으로 나눕니다. 한 집단은 새 약을, 다른 집단은 겉모양만 같은 가짜 약을 먹습니다. 몇 주 뒤 두 집단의 평균 혈압을 비교합니다. 사람마다 혈압이 다르니, 약이 아무 일도 하지 않아도 두 평균은 조금 다르게 나옵니다. 그래서 「이 정도 차이는 우연으로 보기 어렵다」는 선(임계값, critical value)을 미리 정해 두고, 차이가 그 선을 넘으면 「효과 있다」고 판정합니다. 이것이 가설검정입니다.

위 그림의 가로는 두 집단 평균의 차이입니다(가짜 약 집단의 평균 − 약 집단의 평균, 곧 약이 낮춘 만큼). 초록 곡선은 효과가 없을 때, 파란 곡선은 효과가 정말 δ = 5 mmHg 있을 때 그 차이가 어디쯤 나오는지를 그린 분포입니다. 실험을 한 번 하면 둘 중 한 곡선에서 값 하나가 나오는 셈인데, 우리는 어느 곡선인지 모릅니다. 그래서 판정이 틀릴 수 있습니다.

진실도 둘(효과 없음, 있음), 판정도 둘(있다, 없다)이라 틀리는 길이 두 가지입니다.

화재경보기로 생각하면 쉽습니다. 불이 나지 않았는데 울리면 헛울림(1종 오류), 불이 났는데 울리지 않으면 못 울림(2종 오류)입니다. 경보기를 예민하게 맞추면 못 울림은 줄지만 헛울림이 늘고, 둔하게 맞추면 그 반대입니다. 검정력은 불이 났을 때 울려 줄 확률입니다.

책에서는 「효과가 없다」는 가정을 귀무가설, 「효과가 있다」는 가정을 대립가설이라고 부릅니다. 「효과 있다」는 판정은 「귀무가설을 기각한다」, 「통계적으로 유의하다」고 적습니다.

2. 네 칸 표

진실 둘 × 판정 둘로 네 칸이 생깁니다. 위 실험 상자의 표가 지금 값으로 채운 이 표입니다.

「효과 있다」고 판정(유의함)「효과 없다」고 판정(유의하지 않음)
실제로 효과 없음1종 오류, 헛울림. 확률 α바르게 「없음」. 확률 1 − α
실제로 효과 있음바르게 「있음」. 확률 1 − β = 검정력2종 오류, 못 울림. 확률 β

각 줄은 「그 진실일 때」의 확률이라(조건부 확률), 한 줄의 두 칸을 더하면 1 입니다. 네 칸을 모두 더하면 1 이 아니라 2 입니다.

베이즈 정리 쪽의 검사 표와 같은 꼴입니다. 병을 「효과」로, 양성을 「유의함」으로 바꿔 읽으면 1종 오류의 확률 α 는 가짜 양성의 비율(1 − 특이도)이고, 검정력은 민감도입니다.

이렇게 읽으면 틀린다. 「α = 0.05 이니 유의하게 나온 결과의 95% 는 진짜다」는 틀립니다. α 는 효과가 없을 때 유의하게 나올 확률이지, 유의하게 나온 것 가운데 가짜의 몫이 아닙니다. 그 몫은 검정력과, 시험하는 것들 가운데 정말 효과가 있는 것의 비율에 달려 있습니다.

지어낸 예로 셈해 봅니다. 약 후보 100개를 시험하는데 정말 듣는 것이 10개뿐이라고 합시다. 검정력이 0.8 이면 진짜 10개 가운데 8개가 유의하게 나오고, 듣지 않는 90개 가운데 90 × 0.05 = 4.5 개가 1종 오류로 유의하게 나옵니다. 유의한 12.5개 가운데 진짜는 8 ÷ 12.5 = 0.64, 64% 뿐입니다. 검정력이 0.2 면 2 ÷ (2 + 4.5) ≈ 0.31 로 떨어집니다. 베이즈 쪽의 「양성이어도 병일 확률」과 같은 셈입니다.

「검정력이 80% 면 효과가 있을 확률이 80% 다」도 틀립니다. 검정력은 「효과가 정해진 크기로 있다고 할 때」 잡아낼 확률입니다.

3. α 를 낮추면 β 가 오른다

임계값은 α 로 정합니다. 효과가 없을 때(초록 곡선) 임계값 바깥의 넓이가 α 가 되도록 놓습니다. α 를 낮추면 임계값이 바깥으로 나가 1종 오류는 줄지만, 파란 곡선에서 임계값 안쪽에 남는 넓이(β)가 늡니다. 경보기를 둔하게 맞추는 것과 같습니다.

그래서 n 과 표준편차를 그대로 두고는 두 오류를 함께 줄일 수 없습니다. 둘을 함께 줄이려면 두 곡선이 덜 겹쳐야 하고, 그러려면 곡선을 좁히거나(n 을 키우거나 표준편차를 줄이거나) 효과가 커야 합니다.

단측 검정(one-sided test)은 「약이 혈압을 낮추는가」처럼 한 방향만 볼 때 씁니다. α 를 한쪽 꼬리에 다 써서 임계값이 안쪽으로 오고 검정력이 오릅니다. 대신 반대 방향의 효과(혈압이 오름)는 아무리 커도 잡지 못합니다. 방향은 자료를 보기 전에 정해야 합니다. 결과를 보고 방향을 고르면 실제 1종 오류의 확률은 α 의 두 배가 됩니다.

해 볼 것. ① 처음에는 α 0.050, β 0.193, 검정력 0.807 입니다. ② α 칸에 0.01 을 넣으면 임계값이 ±3.46 에서 ±4.55 mmHg 로 나가고, β 가 0.400 으로 늘어 검정력은 0.600 이 됩니다. 1종 오류를 5분의 1 로 줄인 값으로 2종 오류가 두 배쯤 됐습니다. ③ α 를 0.1 로 올리면 임계값이 ±2.91 로 들어오고 검정력은 0.882 입니다. ④ α 를 0.05 로 되돌리고 「단측 검정」을 누르면 임계값이 오른쪽 +2.91 하나만 남고 검정력도 0.882 입니다. 오른쪽 임계값이 양측 검정의 α 0.1 과 같은 자리이기 때문입니다.

4. 검정력을 정하는 네 가지

무엇을이렇게 하면검정력그림에서
효과 δ크게오른다파란 곡선이 초록 곡선에서 멀어진다
표본 크기 n크게오른다두 곡선이 좁아져 덜 겹친다. 폭 SE = σ × √(2 ÷ n)
표준편차 σ작게오른다두 곡선이 좁아진다
유의수준 α느슨하게(크게)오른다임계값이 안쪽으로 온다. 대신 1종 오류가 는다
(덧붙여) 단측 검정방향이 맞으면오른다α 를 한쪽 꼬리에 다 쓴다

앞의 셋은 따로 들어가지 않습니다. 검정력은 「효과가 곡선 폭의 몇 배인가」, 곧 δ ÷ SE = (δ ÷ σ) × √(n ÷ 2) 하나로 정해집니다(6절에서 이 식을 만듭니다). 그래서 σ 를 두 배로 키우는 것은 δ 를 절반으로 줄이는 것과 같고, n 을 4분의 1 로 줄이는 것과도 같습니다. n 은 제곱근으로 들어가서, 곡선의 폭을 절반으로 줄이려면 사람이 4배 필요합니다.

표준편차 σ 는 줄일 수 있습니다. 더 정밀하게 재고, 같은 사람을 약 전후로 재어 비교하고(반복 측정), 비슷한 사람끼리 묶어 그 안에서 견줍니다(블록 설계). 사람 사이의 차이가 견줌에서 빠지면 곡선이 좁아집니다.

해 볼 것. ① n 을 64 에서 128 로 올리면 SE 가 1.77 에서 1.25 로 줄어 두 곡선이 좁아지고, 검정력은 0.979 가 됩니다. ② n 을 16 으로 내리면 SE 3.54, 임계값 ±6.93 mmHg, 검정력 0.293 입니다. 효과가 정말 있어도 10번에 7번은 놓칩니다. ③ n 을 64 로 두고 σ 를 20 으로 올려도 검정력 0.293, σ 를 10 으로 두고 δ 를 2.5 로 내려도 0.293 입니다. 셋 다 δ ÷ SE 가 같습니다. ④ n 32 에서는 0.516, 동전 던지기와 비슷합니다. ⑤ δ 를 0 으로 내리면 두 곡선이 겹치고 검정력이 α 와 같은 0.050 이 됩니다. 잡을 효과가 없으니 「잡았다」는 판정은 모두 1종 오류입니다.

5. 효과 크기: 표준편차로 나눈 차이

「혈압 5 mmHg 차이」가 큰지 작은지는 사람들의 혈압이 얼마나 흩어져 있는지에 따라 다릅니다. 그래서 차이를 표준편차로 나눈 값을 많이 씁니다.

d = δ ÷ σ

이것을 코헨의 d 라고 부릅니다. 단위가 사라져(mmHg ÷ mmHg) 혈압, 키, 세포 수처럼 다른 것을 잰 연구끼리도 비교할 수 있습니다. 이 쪽의 예는 5 ÷ 10 = 0.5 입니다. 「두 집단의 평균이 표준편차의 절반만큼 다르다」는 뜻입니다.

코헨은 d 에 이름을 붙여 두었습니다.

d이름σ = 10 mmHg 이면80% 검정력에 필요한 n(집단마다, α 0.05 양측, 이 쪽의 정규 근사)t 검정으로 셈하면
0.2작은 효과2 mmHg393394
0.5중간 효과5 mmHg6364
0.8큰 효과8 mmHg2526

이 이름들은 약속일 뿐입니다. 코헨 스스로 「작다·크다」는 분야와 연구마다 다르니 더 나은 근거가 없을 때만 쓰라고 적었습니다. 혈압 2 mmHg 가 쓸모 있는 차이인지는 통계가 아니라 그 분야의 지식이 정합니다. 표본 크기를 정할 때 쓰는 효과는 「이보다 작으면 의미가 없다」고 볼 가장 작은 차이로 잡는 것이 보통입니다. 앞선 연구에서 본 효과를 그대로 가져오면, 10절에서 보듯 부풀려져 있기 쉽습니다.

t 검정 칸은 σ 를 표본에서 추정하는 t 검정의 검정력을 수치 적분으로 직접 셈한 값입니다. σ 를 추정하는 흔들림 때문에 집단마다 한 명쯤 더 필요합니다.

6. 식이 만들어지는 과정

검정력의 식을 손 예제의 그림 위에서 한 단계씩 만듭니다. 두 집단의 평균을 비교하는 양측 검정이고, 평균 차이가 정규분포를 따른다고 봅니다(정규 근사). 식에 나오는 Φ(z) 는 표준정규분포에서 z 보다 작은 값이 나올 확률(z 왼쪽의 넓이), z(α/2) 는 오른쪽 꼬리의 넓이가 α/2 가 되는 자리입니다. α = 0.05 면 1.960 입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 숫자는 δ = 5, σ = 10, α = 0.05 입니다. n 은 마지막 단계에서 막대로 바꿀 수 있고, 바꾼 n 은 다른 단계에도 남습니다.

  1. 귀무 분포의 폭: SE. 효과가 없으면 두 집단 평균의 차이는 0 둘레에서 흔들립니다. 그 흔들림의 폭이 표준오차 SE 입니다. 한 사람의 값이 σ 만큼 흩어져도, n 명의 평균은 덜 흔들리고(표집분포), 평균 둘의 차이는 두 평균의 흔들림(분산 σ² ÷ n)이 더해져 SE = √(σ² ÷ n + σ² ÷ n) = σ × √(2 ÷ n) 이 됩니다.
  2. 임계값: z(α/2) × SE. 효과가 없을 때 평균 차이가 임계값 바깥으로 나갈 확률이 α 가 되게 놓습니다. 양측 검정이라 두 꼬리에 α/2 씩 나눕니다. 표준정규분포에서 오른쪽 꼬리가 0.025 인 자리가 1.960 이므로, 곡선의 폭 SE 를 곱하면 임계값입니다.
  3. 대립 분포: δ − z(α/2) × SE. 효과가 정말 δ 있으면 평균 차이의 분포는 같은 모양 그대로 δ 만큼 옆으로 옮겨 갑니다. 폭은 SE 그대로입니다. 임계값에서 이 곡선의 가운데까지의 거리가 δ − z(α/2) × SE 입니다. 이 거리가 클수록 곡선의 많은 부분이 임계값 바깥에 놓입니다.
  4. 임계값 바깥의 넓이가 검정력: Φ(δ ÷ SE − z(α/2)). 거리를 SE 로 나누면 「곡선 폭의 몇 배」가 되어 표준정규분포의 눈금으로 읽을 수 있습니다. (δ − z(α/2) × SE) ÷ SE = δ ÷ SE − z(α/2). 가운데가 임계값보다 그만큼 바깥에 있는 정규 곡선에서 임계값 바깥의 넓이는 Φ(그 거리) 입니다. 양측 검정은 왼쪽 임계값 바깥으로 나가도 「효과 있다」로 판정하지만, 그 넓이는 아주 작아(손 예제에서 0.0000008) 이 식에서는 뺐습니다. 그래서 등호 대신 ≈ 를 씁니다.
  5. SE 에 σ 와 n 넣기: Φ((δ ÷ σ) × √(n ÷ 2) − z(α/2)). δ ÷ SE = δ ÷ (σ × √(2 ÷ n)) = (δ ÷ σ) × √(n ÷ 2). 앞의 δ ÷ σ 가 5절의 효과 크기 d 입니다. 검정력은 d 와 √n 의 곱, 그리고 α 로 정해집니다. 이 식을 거꾸로 풀면 필요한 n 이 나옵니다(표본 크기 계산).

해 볼 것. ① 단계 ③ 에서 파란 곡선이 0 에서 5 로 미끄러져 갑니다. 임계값에서 가운데까지는 5 − 3.465 = 1.535 mmHg 입니다. ② 단계 ④ 에서 그 거리는 1.535 ÷ 1.768 = 0.868 SE 이고 Φ(0.868) = 0.807 입니다. ③ 마지막 단계에서 n 을 128 로 올리면 0.5 × 8.000 = 4.000, 4.000 − 1.960 = 2.040 이라 검정력 0.979, 16 으로 내리면 0.5 × 2.828 = 1.414, 1.414 − 1.960 = −0.546 이라 검정력 0.293 입니다. 이 값을 두고 「이전」으로 돌아가 ③ 을 보면, 파란 곡선의 가운데가 임계값(6.930) 안쪽에 있습니다.

7. 손으로 따라가기

효과 δ = 5 mmHg, 표준편차 σ = 10 mmHg, 집단마다 n = 64명, α = 0.05 양측 검정입니다. 위 두 실험의 처음 값과 같습니다.

  1. 효과 크기. d = 5 ÷ 10 = 0.5. 중간 효과입니다.
  2. 표준오차. SE = 10 × √(2 ÷ 64) = 10 × 0.1768 = 1.768 mmHg.
  3. 임계값. 1.960 × 1.768 = 3.465 mmHg. 평균 차이가 −3.465 보다 작거나 3.465 보다 크면 「효과 있다」입니다.
  4. 효과가 곡선 폭의 몇 배인가. δ ÷ SE = 5 ÷ 1.768 = 2.828.
  5. 임계값에서 얼마나 바깥인가. 2.828 − 1.960 = 0.868.
  6. 검정력. Φ(0.868) = 0.807. 효과가 정말 5 mmHg 있으면 이 실험은 다섯 번에 네 번쯤 잡아냅니다. β = 1 − 0.807 = 0.193.
  7. 뺀 몫 확인. 왼쪽 임계값 바깥의 넓이는 Φ(−2.828 − 1.960) = Φ(−4.788) ≈ 0.0000008. 더해도 0.807 그대로입니다.

실제 연구에서는 σ 를 모르고 표본에서 추정하므로 t 검정을 씁니다. 같은 조건에서 t 검정의 검정력은 0.80 으로 조금 낮습니다. 5절의 표에서 t 검정이 한 명씩 더 필요한 까닭입니다.

# 파이썬 표준 라이브러리만으로(정규 근사)
from statistics import NormalDist
Z = NormalDist()
def power(delta, sigma, n, alpha=0.05):
    se = sigma * (2 / n) ** 0.5               # 두 집단 평균 차이의 표준오차
    z = Z.inv_cdf(1 - alpha / 2)              # 1.96
    return Z.cdf(delta / se - z) + Z.cdf(-delta / se - z)
power(5, 10, 64)   # 0.807
power(5, 10, 16)   # 0.293

8. 해 보면 정말 그만큼 잡히나

식이 맞는지 직접 해 봅니다. 한 번의 실험마다 두 집단에 n 명씩 혈압을 지어냅니다. 가짜 약 집단은 표준편차 σ = 10 으로, 약 집단은 같은 표준편차에 평균만 δ 만큼 낮게 뽑습니다. 두 평균의 차이로 p값을 구하고, 이것을 1000번 되풀이해 p < 0.05 인 비율을 셉니다. 그 비율이 검정력의 추정값입니다.

  • 해 본 비율(p < 0.05)
  • 식으로 구한 검정력

혈압 값은 고정 시드 난수기로 지어낸 것이라, 같은 시드, 같은 δ 와 n 이면 늘 같은 결과가 나옵니다. 「다른 시드로」는 시드를 하나 올려 다른 우연으로 다시 합니다. σ = 10, α = 0.05 양측 검정으로 고정했고, 식과 같은 가정(σ 를 안다)으로 p값을 구합니다. 막대 위의 숫자는 그 칸에 든 실험의 수입니다.

p값의 히스토그램을 읽는 법. 효과가 없으면 p값은 0 과 1 사이에 고르게 나옵니다. 그래서 막대가 평평하고, 맨 왼쪽 칸(p < 0.05)에도 다른 칸처럼 1000번의 약 5% 가 들어갑니다. 이것이 α 의 뜻입니다. 효과가 있으면 p값이 0 쪽으로 몰립니다. 맨 왼쪽 칸으로 몰리는 몫이 검정력이고, 나머지 칸에 남은 몫이 β 입니다.

이렇게 읽으면 틀린다. p값은 「효과가 없을 확률」이 아닙니다. 효과가 없다고 할 때 지금만큼(또는 더) 큰 차이가 나올 확률입니다. 효과가 없는 실험에서도 p값은 0 과 1 사이 어디든 나오고, 20번에 한 번은 0.05 보다 작습니다(가설검정과 p값).

해 볼 것. ① 처음(δ 5, n 64, 시드 1)에는 1000번 가운데 786번(78.6%)이 p < 0.05 이고, 식은 80.7% 입니다. 차이 2.1%p 는 1000번만 해 보면 흔한 흔들림입니다(설명 줄의 ±2.4%p 안). 시드를 2, 3 으로 바꾸면 796번, 810번입니다. ② 「효과 없음」을 누르면 막대가 33 ~ 61 사이로 평평해지고, p < 0.05 는 57번(5.7%)입니다. 이 57번은 모두 1종 오류입니다. ③ 「작은 실험」을 누르면 301번(30.1%), 식은 29.3% 입니다. 이때 유의하게 나온 301번만 모아 평균 차이를 내면 9.21 mmHg 로, 참값 5 의 두 배 가까이 됩니다(10절). ④ n 을 128 로 올리면 976번(97.6%)이 잡힙니다.

9. 검정력 곡선과 필요한 표본 크기

효과 크기를 정해 두고 n 을 바꿔 가며 검정력을 그리면 검정력 곡선이 됩니다. 80% 선과 만나는 자리가 그 효과를 80% 로 잡는 데 필요한 n 입니다. 실험을 계획할 때 n 을 이렇게 정합니다. 계산 방법과 비율, 생존 기간 같은 다른 자료의 경우는 표본 크기 계산 쪽에서 다룹니다.

그림을 누르거나 끌면 검은 세로선(읽는 n)이 옮겨 갑니다. α = 0.05 양측 검정, 정규 근사입니다. 곡선 위의 숫자는 80% 에 닿는 n 이고, 400 을 넘으면 설명 줄에만 적습니다.

해 볼 것. ① n = 64 에서 검정력은 d 0.2 가 20.5%, d 0.5 가 80.7%, d 0.8 이 99.5% 입니다. 같은 실험이 큰 효과는 거의 늘 잡고 작은 효과는 다섯 번에 한 번만 잡습니다. ② 80% 에 닿는 n 은 d 0.8 이 25, 0.5 가 63, 0.2 가 393 입니다. 효과가 2.5배 작으면(0.5 → 0.2) 사람은 약 6배(2.5²) 필요합니다. ③ 고른 d 를 0.1 로 내리면 1570명이 필요해 그림 밖으로 나갑니다. ④ 80% 대신 90% 를 바라면 d 0.5 에서 85명이 필요합니다(이 그림에는 없고 식으로 셈한 값).

10. 검정력이 낮은 연구의 문제

검정력이 낮다는 것은 「있는 효과를 자주 놓친다」에서 끝나지 않습니다.

Button 등(2013)은 신경과학 연구들을 모아 검정력의 중앙값을 약 8% ~ 31% 로 추정하고, 낮은 검정력이 효과의 과대 추정과 재현되지 않는 결과로 이어진다고 짚었습니다. 앞선 작은 연구의 효과로 다음 실험의 n 을 정하면 효과를 크게 잡은 탓에 n 이 모자라기 쉽습니다.

11. 「유의하지 않다」는 「효과 없다」가 아니다

유의하지 않다는 것은 「이 자료로는 우연과 가려낼 수 없었다」는 뜻입니다. 효과가 없어서일 수도 있고, 있는데 실험이 작아서일 수도 있습니다. 검정 하나로는 둘을 가릴 수 없습니다. 「증거가 없다」와 「없다는 증거가 있다」는 다릅니다.

그래서 유의하지 않은 결과는 신뢰구간과 같이 읽습니다. 구간이 0 을 품으면서도 넓어 10 mmHg 같은 큰 효과까지 품고 있다면, 「모른다」가 정직한 결론입니다. 「효과가 없다(있어도 아주 작다)」고 말하려면, 의미 있다고 볼 가장 작은 차이를 미리 정하고 효과가 그보다 작다는 것을 보이는 다른 설계(동등성 검정)가 필요합니다.

12. 실험 뒤에 검정력을 계산하면

유의하지 않은 결과가 나온 뒤, 관측된 차이를 δ 자리에 넣어 검정력을 계산하는 일(사후 검정력)이 흔합니다. 이것은 도움이 되지 않습니다. 관측된 차이 ÷ SE 는 바로 관측된 z 값이고, z 값과 p값은 서로 하나로 정해지는 짝이기 때문입니다. 그래서 사후 검정력은 p값을 다른 눈금으로 다시 적은 것일 뿐 새 정보가 없습니다. 양측 검정에서 p = 0.05 이면 관측된 z 가 1.96 이라 사후 검정력은 Φ(1.96 − 1.96) = Φ(0) = 0.5 입니다(반대쪽 꼬리를 더해도 0.500). p 가 0.05 보다 크면 사후 검정력은 0.5 를 넘지 못합니다(반대쪽 꼬리의 아주 작은 몫은 뺀 값). 「유의하지 않았고 검정력도 낮았다」는 같은 말을 두 번 한 것입니다(Hoenig, Heisey 2001).

쓸모 있는 것은 둘입니다. 실험 전에 의미 있는 효과 크기를 정해 계산한 검정력, 그리고 실험 뒤에 효과의 크기와 불확실성을 함께 보여 주는 신뢰구간입니다.

13. 꼭 알아야 할 성질

성질쉬운 말실험에서
α 는 정하고, β 는 정해진다α 는 실험 전에 고른다. β 는 δ, σ, n, α 가 정한다α 막대와 β 칸
검정력은 δ ÷ SE 로 정해진다δ ÷ SE = d × √(n ÷ 2). σ 두 배 = δ 절반 = n 4분의 14절의 해 볼 것 ③
α 와 β 는 맞바꾼다n 과 σ 를 그대로 두면 하나를 줄일 때 다른 하나가 는다3절의 해 볼 것 ②
효과가 0 이면 검정력 = α잡을 효과가 없으면 「잡았다」는 모두 1종 오류다δ 를 0 으로
검정력은 「효과가 있다고 할 때」의 확률효과가 있을 확률도, 유의한 결과가 진짜일 확률도 아니다2절의 「이렇게 읽으면 틀린다」

어디에 쓰나

자주 묻는 것

1종 오류와 2종 오류는 무엇이 다른가요?

1종 오류는 효과가 없는데 있다고 판정하는 것(헛울림)이고, 일어날 확률 α 를 실험 전에 정합니다. 2종 오류는 효과가 있는데 없다고 판정하는 것(못 울림)이고, 그 확률 β 는 효과 크기, 표본 크기, 표준편차, α 로 정해집니다. 표본 크기를 그대로 두면 하나를 줄일 때 다른 하나가 늡니다.

검정력은 얼마면 되나요?

흔히 80% 나 90% 를 목표로 잡습니다. 법칙이 아니라 관례입니다. 80% 면 효과가 정말 있어도 다섯 번에 한 번은 놓친다는 뜻이니, 놓쳤을 때 잃는 것이 큰 연구라면 더 높게 잡습니다.

「유의하지 않다」면 효과가 없다는 뜻인가요?

아닙니다. 효과가 있어도 검정력이 낮으면 유의하지 않게 나오기 쉽습니다. 이 쪽의 예에서 집단마다 16명이면 효과가 정말 5 mmHg 있어도 10번에 7번은 유의하지 않습니다. 신뢰구간을 같이 보고, 효과가 없다고 말하려면 그것을 따로 보이는 설계가 필요합니다.

실험이 끝난 뒤 검정력을 계산하면 도움이 되나요?

관측된 효과로 계산한 검정력(사후 검정력)은 p값을 다른 눈금으로 다시 적은 것이라 새 정보가 없습니다. 양측 검정에서 p = 0.05 이면 늘 약 50% 이고, p 가 클수록 낮게 나옵니다. 끝난 실험은 신뢰구간으로 읽고, 검정력은 실험 전에 정한 효과 크기로 계산합니다.

α = 0.05 면 유의한 결과가 틀렸을 확률이 5% 인가요?

아닙니다. α 는 효과가 없을 때 유의하게 나올 확률입니다. 유의한 결과 가운데 틀린 것의 몫은 검정력과, 시험하는 것들 가운데 정말 효과가 있는 것의 비율에 따라 달라집니다. 베이즈 정리의 「양성이어도 병일 확률」과 같은 셈입니다.

낱말

여기서 쓴 말책에서 부르는 말
효과가 없다는 가정 / 있다는 가정귀무가설(null hypothesis, H₀) / 대립가설(alternative hypothesis, H₁)
「효과 있다」고 판정귀무가설 기각(reject the null hypothesis), 통계적으로 유의함(statistically significant)
헛울림1종 오류(type I error), 거짓 양성(false positive)
못 울림2종 오류(type II error), 거짓 음성(false negative)
헛울림의 확률 α유의수준(significance level)
있는 효과를 잡아낼 확률 1 − β검정력(statistical power)
판정을 가르는 선 / 그 바깥임계값(critical value) / 기각역(rejection region)
평균 차이가 흔들리는 폭표준오차(standard error, SE)
효과 δ, 표준편차로 나눈 효과 d효과 크기(effect size), 코헨의 d(Cohen's d), 표준화 평균 차이(standardized mean difference)
한쪽만 보는 / 양쪽을 보는 검정단측 검정(one-sided, one-tailed test) / 양측 검정(two-sided, two-tailed test)
Φ(z): z 왼쪽의 넓이표준정규분포의 누적분포함수(standard normal CDF)
실험 전에 n 을 정하는 셈검정력 분석(power analysis), 표본 크기 계산(sample size calculation)
실험 뒤 관측값으로 셈한 검정력사후 검정력, 관측 검정력(post hoc power, observed power)
유의하게 나온 효과가 부풀려짐효과 크기의 과대 추정(effect size inflation), 승자의 저주(winner's curse)
유의한 결과 가운데 진짜의 몫양성 예측도(positive predictive value, PPV)
효과가 아주 작다는 것을 보이는 검정동등성 검정(equivalence test)
가짜 약위약(placebo)
σ 를 표본에서 어림하는 두 평균 비교두 표본 t 검정(two-sample t-test). σ 를 안다고 보면 z 검정(z-test)

출처

← 가설검정과 p값t 검정 →