확률분포, 평균과 분산, 정규분포

키, 시험 점수, 측정 오차. 많이 모아 그려 보면 가운데가 높고 양옆이 낮은 종 모양이 자주 나옵니다. 그 모양을 어떤 숫자로 적는지, 왜 그 모양이 흔한지 직접 움직여 보며 봅니다.

한 줄 답. 확률분포는 「어떤 값이 얼마나 자주 나오는가」를 그린 것입니다. 평균은 그 가운데, 분산과 표준편차는 퍼진 정도입니다. 정규분포는 가운데가 높고 양옆으로 고르게 낮아지는 종 모양 분포이고, 작은 우연이 많이 더해지면 대개 이 모양이 됩니다.

막대로 평균과 표준편차를 바꿔 보세요. 그림을 누르거나 끌면 누른 곳에 가까운 끝(a 또는 b)이 옮겨 갑니다. 파랗게 칠한 넓이가 값이 그 사이에 들어갈 확률입니다. 보라 눈금 ±1σ, ±2σ, ±3σ 는 평균에서 표준편차의 1배, 2배, 3배 떨어진 자리입니다.

1. 확률분포: 어떤 값이 얼마나 자주 나오나

확률분포는 나올 수 있는 값마다 그 값이 얼마나 자주 나오는지(확률)를 적은 것입니다. 표로 적어도 되고 그림으로 그려도 됩니다. 주사위 하나라면 1부터 6까지 여섯 값이 있고, 확률은 모두 1/6 입니다. 나올 수 있는 값의 확률을 모두 더하면 언제나 1 입니다. 무엇이든 하나는 나오기 때문입니다.

값이 띄엄띄엄 있으면 이산 분포, 그 사이의 어떤 값도 나올 수 있으면 연속 분포라고 합니다.

이산 분포연속 분포
값셀 수 있게 띄엄띄엄(주사위 눈, 하루 방문자 수)사이에 끝없이 많은 값(키, 무게, 기다린 시간)
그림막대매끈한 곡선
확률은막대의 높이곡선 아래의 넓이
한 값의 확률0 보다 클 수 있다(눈 3 이 나올 확률 1/6)0 이다(키가 정확히 170.000… cm 일 확률)
모두 더하면높이의 합 = 1전체 넓이 = 1

연속 분포에서는 왜 넓이가 확률일까요? 키가 「정확히」 170cm 인 사람은 없습니다. 재는 자를 아무리 정밀하게 해도 170.0001cm 나 169.9999cm 처럼 조금씩 다릅니다. 그래서 한 값이 아니라 「170cm 와 171cm 사이」처럼 구간을 묻고, 그 구간 위의 넓이를 확률로 씁니다.

곡선의 높이는 확률이 아니라 「그 근처에 값이 얼마나 몰려 있나」입니다. 이것을 확률밀도라고 부릅니다. 그래서 높이는 1 보다 클 수도 있습니다. 위 실험에서 표준편차를 0.5 로 줄이면 꼭대기 높이가 0.8 이 되고, 0.25 라면 약 1.6 이 됩니다. 그래도 전체 넓이는 1 입니다.

2. 평균과 기댓값: 가운데

자료의 평균은 모두 더해 개수로 나눈 값입니다. 값이 2, 4, 5, 6, 8 이면 (2 + 4 + 5 + 6 + 8) ÷ 5 = 25 ÷ 5 = 5 입니다.

분포의 평균은 기댓값이라고 부릅니다. 값마다 그 확률을 곱해서 모두 더합니다.

기댓값 = Σ (값 × 그 값의 확률)

Σ(큰 시그마)는 「모두 더한다」는 기호입니다. 주사위 하나의 기댓값은 1×1/6 + 2×1/6 + 3×1/6 + 4×1/6 + 5×1/6 + 6×1/6 = 21 ÷ 6 = 3.5 입니다. 3.5 라는 눈은 나오지 않습니다. 기댓값은 「한 번에 나올 값」이 아니라 「아주 많이 던져서 평균을 내면 다가가는 값」입니다. 8절의 실험에서 주사위 평균들이 3.5 둘레에 모이는 것을 볼 수 있습니다.

평균은 가운데를 알려 주지만 퍼진 정도는 알려 주지 않습니다. 5, 5, 5, 5, 5 와 1, 3, 5, 7, 9 는 평균이 모두 5 입니다. 그래서 숫자가 하나 더 필요합니다.

3. 분산과 표준편차: 퍼진 정도

퍼진 정도를 재려면 값마다 평균에서 얼마나 떨어져 있는지(거리)를 봅니다. 그런데 이 거리를 부호째 더하면 언제나 0 이 됩니다. 평균보다 큰 쪽과 작은 쪽이 꼭 맞게 지워지기 때문입니다. 그래서 거리를 제곱해서 더합니다. 제곱하면 음수가 없어집니다.

분산 = Σ (값 − 평균)² ÷ n
표준편차 = √분산

n 은 값의 개수입니다. 분산은 「평균까지 거리의 제곱을 평균 낸 것」입니다. 제곱을 했으니 단위도 제곱이 됩니다(cm 이면 cm²). 그래서 제곱근을 씌워 단위를 되돌린 것이 표준편차입니다. 「값들이 평균에서 대략 이만큼 떨어져 있다」고 읽으면 됩니다. 평균을 μ(뮤), 표준편차를 σ(작은 시그마)로 적는 일이 많고, 분산은 σ² 입니다.

파란 점을 좌우로 끌거나, 점을 고르고 값을 고쳐 보세요. 「점 빼기」는 고른 점(검은 고리)을 뺍니다. 점은 2~10개까지 둘 수 있습니다. 위쪽 주황 선은 점마다 평균까지의 거리이고, 아래쪽 주황 정사각형은 그 거리를 한 변으로 한 것입니다. 넓이가 거리의 제곱입니다. 정사각형 넓이를 모두 더해 점의 개수로 나누면 초록 정사각형의 넓이(분산)가 되고, 초록 정사각형의 한 변이 표준편차입니다. 아래 정사각형들은 칸에 들어가게 줄여 그렸습니다.

손으로 풀어 보기

값 다섯 개 2, 4, 5, 6, 8 의 분산과 표준편차입니다. 위 실험의 처음 모습이 이것입니다.

값평균까지의 거리(값 − 5)거리의 제곱
2−39
4−11
500
611
839
합 25020
  1. 평균: 25 ÷ 5 = 5
  2. 거리: −3, −1, 0, 1, 3. 부호째 더하면 0 입니다.
  3. 거리의 제곱: 9, 1, 0, 1, 9. 더하면 20 입니다.
  4. 분산: 20 ÷ 5 = 4
  5. 표준편차: √4 = 2. 다섯 값은 평균 5 에서 대략 2 만큼 떨어져 있습니다.

해 볼 것. ① 처음 다섯 점은 위 손 계산과 같습니다. 분산 4, 표준편차 2 입니다. ② 5번 점을 8 에서 10 으로 끌면 평균은 5.4 로 조금만 움직이지만, 분산은 7.04, 표준편차는 2.65 로 크게 늡니다. 멀리 떨어진 점 하나가 제곱 때문에 크게 셉니다. ③ 다섯 점을 모두 5 에 모으면 분산이 0 입니다. 퍼짐이 없습니다. ④ 처음 모습에서 「점 더하기」를 누르면 3 이 더해져 평균 4.67, 분산 3.89, 표준편차 1.97 이 됩니다.

n 으로 나누나, n − 1 로 나누나

이 쪽은 개수 n 으로 나눕니다. 가진 값이 전부일 때(반 학생 전체의 점수처럼)의 분산이고, 모집단 분산이라고 부릅니다. 그런데 큰 무리에서 몇 개만 뽑아(표본) 모집단의 분산을 추정할 때는 n − 1 로 나누는 일이 많습니다. 이것이 표본 분산입니다. 뽑은 값들의 평균은 그 값들에 딱 맞춰져 있어서, 진짜 평균에서 잴 때보다 거리의 제곱의 합이 조금 작게 나옵니다. n 대신 n − 1 로 나누면 그만큼 키워져 평균적으로 맞게 됩니다. 위 예라면 20 ÷ 4 = 5, 표준편차는 √5 ≈ 2.24 입니다(실험의 설명 줄 셋째 줄). n 이 크면 둘의 차이는 거의 없습니다. 도구마다 기본값이 다르니 확인합니다. 파이썬의 statistics.pvariance 는 n 으로, statistics.variance 는 n − 1 로 나눕니다.

4. 정규분포: 종 모양

정규분포는 평균 μ 와 표준편차 σ, 두 숫자로 모양이 다 정해지는 종 모양 곡선입니다. 곡선의 높이는 이렇게 적습니다.

z = (x − μ) ÷ σ
높이 = e^(−z² ÷ 2) ÷ (σ × √(2π))

e 는 2.718… 인 수, π 는 3.14… 입니다. 식이 어려워 보여도 하는 일은 셋입니다. ① x 가 평균에서 표준편차 몇 개만큼 떨어졌는지(z)를 구합니다. ② 멀어질수록 빠르게 작아지게 합니다(e^(−z² ÷ 2)). 가운데에서 1 이고, z = 1 이면 약 0.61, z = 3 이면 약 0.011 입니다. ③ 전체 넓이가 1 이 되게 σ × √(2π) 로 나눕니다. 이 식이 조각 하나씩 붙으며 만들어지는 과정은 5. 식이 만들어지는 과정에서 그림으로 봅니다.

평균을 바꾸면 곡선이 모양 그대로 옆으로 옮겨 갑니다. 표준편차를 키우면 곡선이 넓어지고 그만큼 낮아집니다. 넓이가 언제나 1 이기 때문입니다.

구간의 넓이(확률)는 그 구간에서 곡선 아래를 잘게 나눠 모두 더해서(적분) 구합니다. 이 적분은 더하기·곱하기·제곱근 같은 보통의 식으로는 끝까지 풀리지 않습니다. 그래서 오차함수(erf)라는 이름을 붙이고 근사식으로 계산합니다.

x 보다 작은 값이 나올 확률 = ½ × (1 + erf(z ÷ √2))
a 와 b 사이의 확률 = (b 보다 작을 확률) − (a 보다 작을 확률)

이 쪽의 실험은 Abramowitz 와 Stegun 의 책에 실린 근사식(7.1.26)으로 erf 를 셉니다. 파이썬의 math.erf 와 비교해 직접 재 본 가장 큰 차이는 약 0.00000014 라서, 화면에 적는 넷째 자리까지는 틀리지 않습니다.

해 볼 것. (맨 위의 실험) ① 처음에는 평균 ± 1 표준편차(−1 에서 1)가 칠해져 있고 넓이는 0.6827(68.27%)입니다. 「± 2 표준편차」는 95.45%, 「± 3 표준편차」는 99.73% 입니다. ② 「평균 ± 1 표준편차」를 누른 채로 평균을 2, 표준편차를 1.5 로 바꿔도 넓이는 68.27% 그대로입니다. 두 끝이 곡선을 따라 옮겨 가기 때문입니다. ③ 표준편차를 1 에서 2 로 키우면 꼭대기 높이가 0.4 에서 0.2 로 낮아집니다. ④ 평균 0, 표준편차 1 에서 a 를 0, b 를 1 로 두면 0.3413, a 를 1, b 를 2 로 두면 0.1359 입니다. 폭은 똑같이 1 인데 가운데 쪽이 2.5배쯤 큽니다. a 와 b 를 같은 자리에 두면 넓이는 0 입니다.

5. 식이 만들어지는 과정: 정규분포의 식

4절의 식은 결과만 적었습니다. 여기서는 가장 단순한 종 e^(−x²) 에서 시작해 조각을 하나씩 붙이며 f(x) = (1 ÷ (σ√(2π))) × e^(−(x − μ)² ÷ (2σ²)) 를 만듭니다. 단계마다 곡선 아래 넓이를 잘게 나눠 더해(수치 적분) 보여 줍니다. 넓이가 어떻게 바뀌는지 보면 마지막 조각이 왜 필요한지 보입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위의 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각), 곡선이 그만큼 넓어지거나 옮겨 가거나 눌리고, 아래에 까닭이 나옵니다. 초록 선이 지금 식, 회색 점선이 한 단계 전의 식(마지막 단계에서는 z 로 되돌린 종)입니다. 파랗게 칠한 곳이 곡선 아래 넓이, 보라 선이 평균 ± 표준편차, 주황 화살표가 이번 단계에 곡선이 움직인 길입니다. 너무 짧은 화살표는 그리지 않습니다. μ 막대는 ③, σ 막대는 ④ 단계에서 열립니다.

  1. 씨앗: e^(−x²). x = 0 에서 e⁰ = 1 로 가장 높고, x = ±1 에서 0.368, ±2 에서 0.018, ±3 에서 0.0001 로 빠르게 낮아집니다. 왜 제곱인가: (−x)² = x² 라서 x 와 −x 의 높이가 같습니다. 그래서 좌우가 똑같은 종이 됩니다. 꼭대기도 |x| 를 쓸 때처럼 뾰족하지 않고 둥급니다. 왜 음수인가: e 를 양수만큼 거듭제곱하면 끝없이 커집니다. − 를 붙여야 0 에서 멀수록 작아집니다. 곡선 아래 넓이는 1.7725 이고, 곡선을 분포로 보고 잰 표준편차는 0.71 입니다. e 대신 2 나 10 을 밑으로 써도 폭만 다른 같은 종이 됩니다.
  2. 지수를 2 로 나누기: e^(−x² ÷ 2). 씨앗에서 x = 1 이 내던 높이 0.368 을 이제 x = √2 ≈ 1.41 이 냅니다. 종이 가로로 1.41 배 넓어지고, 넓이도 1.7725 × 1.41 ≈ 2.5066 이 됩니다. 표준편차는 0.71 에서 정확히 1 이 되고, −1 과 1 사이에 넓이의 68.27% 가 듭니다(씨앗에서는 84.27%). 7절의 68-95-99.7 규칙의 첫 숫자입니다. 까닭: 표준편차가 정확히 1 인 종을 만들어 두는 약속입니다. 그래야 ④ 에서 나누는 σ 가 그대로 표준편차가 됩니다. 2 로 나누지 않으면 σ 를 넣어도 표준편차가 σ ÷ √2 가 됩니다.
  3. x 대신 x − μ: e^(−(x − μ)² ÷ 2). μ = 2 면 (x − 2)² 이 0 이 되는 곳, 곧 꼭대기가 x = 2 로 옮겨 갑니다. 같은 높이를 내려면 x 가 2 만큼 더 커야 해서, 2 를 빼는데 오른쪽으로 갑니다. 함수의 그래프 옮기기와 같은 규칙입니다. 모양은 그대로라 넓이 2.5066, 표준편차 1 도 그대로입니다. 까닭: 종의 가운데(평균)를 μ 에 두는 조각입니다.
  4. x − μ 를 σ 로 나누기: e^(−((x − μ) ÷ σ)² ÷ 2). σ = 1.5 면 같은 높이를 내려면 μ 에서 1.5 배 멀리 가야 합니다. 종이 μ 를 가운데로 가로 1.5 배가 되고, 표준편차도 1 에서 1.5 가 됩니다. 높이는 그대로라 넓이도 1.5 배: 2.5066 × 1.5 = 3.7599. 까닭: 퍼진 정도를 정하는 조각입니다. ② 에서 표준편차를 1 로 맞춰 두었기 때문에 σ 가 곧 표준편차입니다. 지수를 풀어 쓰면 ((x − μ) ÷ σ)² ÷ 2 = (x − μ)² ÷ (2σ²) 입니다.
  5. 넓이를 1 로 맞추기: … ÷ (σ√(2π)). 지금 넓이는 ② 의 넓이 √(2π) 를 σ 배 한 것입니다. 그러니 모든 높이를 σ√(2π) = 1.5 × 2.5066 ≈ 3.76 으로 나누면 넓이가 1.0000 이 됩니다. 꼭대기는 1 에서 0.27 로 눌립니다. 까닭: 확률을 모두 더하면 1 이어야 합니다(1절). 이 조각이 없으면 종 모양이어도 확률분포가 아닙니다. e^(−x² ÷ 2) 아래 넓이가 정확히 √(2π) ≈ 2.5066 이라는 것(가우스 적분)은 여기서 증명하지 않고, 잘게 나눠 더한 수치로 확인만 합니다.
  6. 완성: f(x) = (1 ÷ (σ√(2π))) × e^(−(x − μ)² ÷ (2σ²)). 4절의 e^(−z² ÷ 2) ÷ (σ × √(2π)), z = (x − μ) ÷ σ 와 같은 식입니다. 손으로 확인하면 μ = 2, σ = 1.5 에서 x = 3.5(평균에서 표준편차 하나만큼)의 높이는 e^(−0.5) ÷ 3.7599 ≈ 0.6065 ÷ 3.7599 ≈ 0.1613 입니다.

거꾸로 가는 길. 표준화 z = (x − μ) ÷ σ 는 이 길을 거꾸로 갑니다. 값마다 μ 를 빼면 ③ 에서 μ 만큼 옮긴 종이 0 으로 돌아오고, σ 로 나누면 ④ 에서 σ 배 넓힌 종이 다시 표준편차 1 로 좁아집니다. 그래서 어떤 정규분포든 평균 0, 표준편차 1 인 종(표준정규분포)으로 모입니다. 마지막 단계의 회색 점선이 그 종입니다. 같은 일을 자료에 하는 것이 정규화와 표준화입니다.

해 볼 것. ① 「다음」을 다섯 번 누르며 왼쪽 위의 넓이를 보세요. 1.7725 → 2.5066 → 2.5066 → 3.7599 → 1.0000 입니다. 보라 선의 표준편차는 0.71 → 1 → 1 → 1.5 → 1.5 입니다. ② ④ 단계에서 σ 를 2.5 로 바꾸면 넓이가 6.2666 으로 커지고, 한 번 더 넘기면 꼭대기가 0.16 까지 눌리며 넓이는 다시 1.0000 입니다. ③ σ 를 0.5 로 바꾸면 ④ 단계에서 종이 좁아지고(넓이 1.2533), ⑤ 단계의 꼭대기는 0.8 입니다. 1절에서 본 「표준편차 0.5 면 꼭대기 0.8」과 같습니다. ④ 마지막 단계에서 μ 를 0, σ 를 1 로 두면 초록 곡선이 회색 점선에 겹치고 꼭대기가 0.4 입니다.

6. 표준화: z 점수

값이 평균에서 표준편차 몇 개만큼 떨어져 있는지를 z 점수라고 합니다. 값을 z 점수로 바꾸는 일을 표준화라고 합니다.

z = (값 − 평균) ÷ 표준편차

예: 시험 평균이 70점, 표준편차가 10점일 때 85점은 z = (85 − 70) ÷ 10 = 1.5 입니다. 점수가 정규분포를 따른다면 z = 1.5 보다 낮을 확률은 0.9332 입니다. 85점은 아래에서 약 93% 자리, 위에서 약 7% 자리입니다. 음수 z 는 평균보다 낮다는 뜻입니다. 60점이면 z = −1 입니다.

z 점수로 바꾸면 어떤 정규분포든 평균 0, 표준편차 1 인 정규분포(표준정규분포) 하나로 모입니다. 그래서 단위가 다른 것끼리(키와 몸무게, 다른 과목의 점수) 「평균에서 얼마나 떨어졌나」를 비교할 수 있습니다. 맨 위 실험의 설명 줄에도 a 와 b 의 z 점수가 나옵니다.

7. 68-95-99.7 규칙

정규분포에서는 평균과 표준편차가 무엇이든 아래 비율이 같습니다.

구간안에 들 확률밖에 있을 확률
평균 ± 1 표준편차68.27%31.73% (약 3번에 1번)
평균 ± 2 표준편차95.45%4.55% (약 22번에 1번)
평균 ± 3 표준편차99.73%0.27% (약 370번에 1번)

외워 두면 어림이 빠릅니다. 키의 평균이 170cm, 표준편차가 6cm 이고 정규분포라면, 셋 가운데 둘쯤은 164~176cm 에 있고, 158cm 보다 작거나 182cm 보다 큰 사람은 스무 명에 한 명쯤입니다. 정확히 95% 가 필요하면 ± 1.96 표준편차를 씁니다. 이 규칙은 정규분포일 때만 맞습니다. 모양이 다르면 비율도 다릅니다(9절).

8. 더하면 종 모양이 된다: 중심극한정리

주사위 하나는 1~6 이 고르게 나옵니다. 종 모양과는 거리가 멉니다. 그런데 주사위 둘을 던져 평균을 내면 3.5(눈의 합 7)가 가장 자주 나옵니다. 합 7 을 만드는 방법은 1+6, 2+5, 3+4, 4+3, 5+2, 6+1 로 여섯 가지인데, 합 2 와 12 는 한 가지씩뿐이기 때문입니다. 주사위를 더 많이 더하면 가운데로 더 몰리고 모양은 종에 가까워집니다.

초록 막대는 「주사위 n개를 던져 낸 평균」이 그 값으로 나온 횟수입니다. 가로 눈금은 평균값(1~6)입니다. 주황 곡선은 평균 3.5, 표준편차 1.71 ÷ √n 인 정규분포를 같은 횟수에 맞춰 그린 것입니다. n 을 바꾸면 5,000번부터 다시 던집니다. 「자동」은 50,000번까지 던집니다. 컴퓨터의 난수는 정해진 계산으로 만든 것이라 시드(seed, 처음 값)가 같으면 늘 같은 차례로 나옵니다. 그래서 같은 시드, 같은 n 이면 같은 그림이 나옵니다. 시드를 바꾸면 다른 우연이 나옵니다.

해 볼 것. ① n = 1 이면 여섯 막대가 798번에서 875번 사이로 높이가 거의 같습니다. 평평해서 주황 곡선과 맞지 않습니다. ② n = 2 이면 삼각형이 됩니다. 3.5 가 854번으로 가장 많고, 양 끝 1 과 6 은 143번, 125번뿐입니다. ③ n 을 10, 30 으로 올리면 종 모양이 되어 주황 곡선과 겹칩니다. 평균들의 표준편차는 n = 10 에서 0.54, n = 30 에서 0.31 로, 식으로 구한 값과 같습니다. ④ 「자동」을 누르면 막대가 점점 더 곡선에 붙습니다.

이것이 중심극한정리입니다. 서로 영향을 주지 않는(독립인) 우연한 값을 많이 더하거나 평균 내면, 하나하나의 모양이 무엇이었든 결과는 정규분포에 가까워집니다. 조건이 있습니다. 하나하나가 서로 독립이어야 하고, 아주 크게 튀는 값이 너무 자주 나와서 분산이 끝없이 커지는 분포이면 안 됩니다.

평균 낸 값의 표준편차는 √n 에 맞춰 줄어듭니다.

n개를 평균 낸 값의 표준편차 = 하나의 표준편차 ÷ √n

주사위 하나의 분산은 거리 (−2.5, −1.5, −0.5, 0.5, 1.5, 2.5) 의 제곱을 평균 낸 17.5 ÷ 6 ≈ 2.92, 표준편차는 약 1.71 입니다. 30개의 평균이면 1.71 ÷ √30 ≈ 0.31 입니다. 여러 번 재어 평균을 내면 더 정확해지는 까닭이 이것입니다. 다만 표준편차를 절반으로 줄이려면 4배, 4분의 1 로 줄이려면 16배 더 재야 합니다.

9. 정규분포가 아닌 것도 많다

종 모양이 흔하지만 모든 것이 그렇지는 않습니다. 모양이 다르면 평균과 표준편차만으로 다 설명되지 않고, 68-95-99.7 도 맞지 않습니다.

예모양까닭
소득, 집값오른쪽으로 꼬리가 길다. 대부분은 낮은 쪽에 몰리고 아주 큰 값이 드물게 있다음수가 없고 위로는 끝이 열려 있다. 아주 큰 몇 값이 평균을 끌어올려, 평균이 중앙값(한가운데 값)보다 크게 나온다
기다리는 시간(다음 손님, 다음 고장까지)0 근처가 가장 높고 오른쪽으로 길게 낮아진다(지수 분포)음수가 없고, 일이 아무 때나 같은 비율로 일어날 때 이렇게 된다
주사위 하나, 0~1 사이의 난수평평하다(균등 분포)모든 값의 확률이 같다
동전 10번에서 앞면의 수막대 11개(이항 분포). 던진 횟수가 많으면 종 모양에 가까워진다0~10 의 정수만 나오는 이산 분포다

꼬리가 긴 자료를 정규분포라고 가정하고 계산하면, 드문 큰 값이 얼마나 자주 오는지를 크게 얕보게 됩니다. 계산하기 전에 자료를 막대그래프로 그려 모양부터 봅니다.

10. 꼭 알아야 할 성질

성질쉬운 말
전체 넓이 = 1무엇이든 한 값은 나온다. 연속 분포의 확률은 넓이로 읽는다
정규분포는 평균을 가운데로 좌우 대칭평균 = 중앙값 = 가장 높은 곳(최빈값)
값을 옮기고 늘리면모든 값에 같은 수를 더하면 평균만 그만큼 옮겨 가고 분산은 그대로다. 모든 값을 k 배 하면 표준편차는 k 배, 분산은 k² 배가 된다
68-95-99.7정규분포에서 평균 ± 1, 2, 3 표준편차 안에 들 확률. 평균과 표준편차가 무엇이든 같다
독립인 둘을 더하면 분산도 더한다분산은 분산끼리 더한다. 표준편차는 그냥 더하지 않고 √(σ₁² + σ₂²) 이다. 정규분포 둘을 더하면 또 정규분포다

어디에 쓰나

# 파이썬 표준 라이브러리만으로
from statistics import NormalDist, pvariance, variance
NormalDist(0, 1).cdf(1) - NormalDist(0, 1).cdf(-1)   # 0.6827: 평균 ± 1 표준편차
NormalDist(70, 10).cdf(85)                            # 0.9332: z = 1.5 보다 낮을 확률
pvariance([2, 4, 5, 6, 8]), variance([2, 4, 5, 6, 8]) # (4, 5): n 으로, n − 1 로 나눈 분산

자주 묻는 것

정규분포가 뭔가요?

가운데(평균)가 가장 높고 양옆으로 고르게 낮아지는 종 모양의 확률분포입니다. 평균과 표준편차 두 숫자로 모양이 다 정해집니다. 작은 우연이 많이 더해진 값은 대개 이 모양에 가까워집니다.

분산과 표준편차는 무엇이 다른가요?

분산은 평균까지 거리의 제곱을 평균 낸 값이고, 표준편차는 분산의 제곱근입니다. 표준편차는 원래 값과 단위가 같아서(cm 면 cm) 「평균에서 대략 이만큼 떨어져 있다」고 바로 읽을 수 있습니다.

분산을 구할 때 왜 n − 1 로 나누기도 하나요?

큰 무리에서 일부만 뽑은 자료(표본)로 모집단의 분산을 추정할 때입니다. 뽑은 값들의 평균에 맞춰 거리를 재면 제곱의 합이 조금 작게 나오므로, n 대신 n − 1 로 나누어 바로잡습니다. 가진 값이 전부라면 n 으로 나눕니다.

곡선의 높이(확률밀도)가 1 보다 클 수 있나요?

있습니다. 연속 분포에서 확률은 높이가 아니라 넓이입니다. 표준편차가 0.25 인 정규분포는 꼭대기 높이가 약 1.6 이지만, 곡선 아래 전체 넓이는 1 입니다.

세상의 자료는 다 정규분포인가요?

아닙니다. 소득처럼 한쪽으로 꼬리가 긴 것, 기다리는 시간처럼 0 근처가 가장 높은 것도 많습니다. 정규분포라고 가정하기 전에 자료를 막대그래프로 그려 모양을 먼저 봅니다.

낱말

여기서 쓴 말책에서 부르는 말
어떤 값이 얼마나 자주 나오나확률분포(probability distribution)
띄엄띄엄한 값 / 사이의 어떤 값도 나오는이산(discrete) / 연속(continuous)
곡선의 높이, 몰린 정도확률밀도, 확률밀도함수(probability density function, PDF). 이산 분포의 막대는 확률질량함수(PMF)
x 보다 작은 값이 나올 확률누적분포함수(cumulative distribution function, CDF)
분포의 평균기댓값(expected value), 평균(mean). μ 로 적는다
평균까지의 거리편차(deviation)
거리의 제곱의 평균분산(variance). σ² 로 적는다
분산의 제곱근표준편차(standard deviation). σ 로 적는다
n 으로 나눈 분산 / n − 1 로 나눈 분산모집단 분산(population variance) / 표본 분산(sample variance)
종 모양 분포정규분포(normal distribution), 가우스 분포(Gaussian distribution)
평균 0, 표준편차 1 인 정규분포표준정규분포(standard normal distribution)
평균에서 표준편차 몇 개만큼 떨어졌나z 점수, 표준점수(z-score, standard score). 바꾸는 일은 표준화(standardization)
68-95-99.7 규칙경험 법칙(empirical rule), 3 시그마 규칙
더하면 종 모양이 된다중심극한정리(central limit theorem)
정규분포의 넓이를 셀 때 쓰는 함수오차함수(error function, erf)
한쪽으로 긴 꼬리치우친 분포, 비대칭(skewed distribution), 긴 꼬리(long tail)
평평한 분포 / 기다리는 시간의 분포 / 동전 앞면 수의 분포균등 분포(uniform) / 지수 분포(exponential) / 이항 분포(binomial)
서로 영향을 주지 않는독립(independent)
난수의 처음 값시드(seed)

출처

← 이항분포와 포아송 분포엔트로피와 교차 엔트로피 →