분류와 로지스틱 회귀
이 메일은 스팸일까, 아닐까? 이 손님은 광고를 누를까, 안 누를까? 이렇게 「이쪽인가 저쪽인가」를 맞히는 일을 분류라고 합니다. 가장 기본이 되는 분류 방법이 로지스틱 회귀입니다. 점수를 확률로 바꾸는 S 자 곡선과 두 무리를 가르는 선을 직접 움직여 보세요.
한 줄 답. 분류는 「이쪽인가 저쪽인가」를 맞히는 일입니다. 로지스틱 회귀는 입력에 가중치를 곱하고 편향(bias, 따로 정해 둔 숫자)을 더해 점수(z = w × x + b)를 셈하고, 그 점수를 시그모이드 함수에 넣어 0 과 1 사이의 확률로 바꿉니다. 확률이 0.5 인 곳이 두 무리를 가르는 경계선(결정 경계)입니다.
그림을 누르거나 끌어도 x 가 옮겨 갑니다. 파란 곡선이 지금의 곡선, 회색 점선은 w = 1, b = 0 일 때의 곡선입니다. 바탕은 p 가 0.5 이상인 쪽이 초록, 0.5 보다 작은 쪽이 주황이고, 검은 세로 점선이 p = 0.5 가 되는 x 입니다. 처음 값(w = 1, b = 0)에서는 점수 z 가 x 와 같으므로 가로축을 점수로 읽어도 됩니다.
1. 회귀와 분류: 숫자를 맞히나, 쪽을 맞히나
회귀는 숫자를 맞히는 일입니다. 집 넓이로 집값을, 오늘 기온으로 내일 기온을 맞힙니다. 답은 어떤 숫자든 될 수 있습니다. 최소제곱으로 직선을 맞추는 것이 가장 기본적인 회귀입니다.
분류는 정해진 무리 가운데 하나를 고르는 일입니다. 스팸인가 아닌가, 누르나 안 누르나. 무리가 둘이면 한쪽을 1, 다른 쪽을 0 으로 적습니다. 이 쪽의 실험에서는 초록 동그라미가 1, 주황 네모가 0 입니다.
| 회귀 | 분류(무리 둘) | |
|---|---|---|
| 답 | 숫자 하나(집값 3억 2천) | 0 이나 1(스팸 아님, 스팸) |
| 모델이 내놓는 것 | 그 숫자 | 1 일 확률(0.93) |
| 틀린 정도(손실) | 차이의 제곱 | 교차 엔트로피(5절) |
| 기본 모델 | 선형 회귀 | 로지스틱 회귀 |
로지스틱 「회귀」라는 이름은 이 모델이 확률이라는 숫자를 맞히기 때문에 붙었습니다. 그 확률을 임계값(threshold, 보통 0.5)으로 잘라 쪽을 정하므로 실제로는 분류에 씁니다.
2. 왜 직선 그대로가 아니라 시그모이드를 거치나
먼저 입력에 가중치를 곱하고 편향을 더해 점수를 셈합니다. 입력이 하나면 z = w × x + b 입니다. 점수는 −100 이든 57 이든 아무 값이나 나옵니다. 그런데 확률은 0 과 1 사이여야 합니다. 점수를 그대로 확률로 쓰면 1.7 이나 −0.4 같은 말이 안 되는 「확률」이 나옵니다.
0 과 1 로 적은 답에 직선을 최소제곱으로 맞추는 방법도 있지만 문제가 생깁니다. 경계에서 아주 멀어 이미 분명한 점도 「1 보다 크다」며 틀린 것으로 셈해 직선을 끌어당깁니다. 그러면 경계가 엉뚱한 곳으로 옮겨 갑니다.
그래서 점수를 S 자 곡선에 넣습니다. 이 곡선이 시그모이드 함수(로지스틱 함수)입니다.
p = 1 ÷ (1 + e^(−z))
e 는 약 2.718 인 수입니다. 점수 z 가 크면 e^(−z) 가 0 에 가까워져 p 는 1 에 가깝습니다. z 가 아주 작은 음수면 e^(−z) 가 아주 커져서 p 는 0 에 가깝습니다. z 가 0 이면 e^0 = 1 이라 p = 1 ÷ 2 = 0.5 입니다. 어떤 점수가 들어와도 p 는 0 과 1 사이에 있고, 0 과 1 에 닿지는 않습니다.
| 점수 z | −5 | −2 | −1 | 0 | 1 | 2 | 5 |
|---|---|---|---|---|---|---|---|
| 확률 p | 0.007 | 0.119 | 0.269 | 0.5 | 0.731 | 0.881 | 0.993 |
w 와 b 가 하는 일. w 가 크면 곡선이 가팔라져서 0.5 근처를 조금만 벗어나도 확신합니다. w 가 0 에 가까우면 곡선이 완만해져 어디서나 망설입니다. w 가 음수면 곡선이 뒤집혀 x 가 클수록 p 가 작아집니다. b 는 곡선을 옆으로 옮깁니다. p = 0.5 가 되는 곳은 z = 0 인 곳, 곧 x = −b ÷ w 입니다.
점수의 뜻. 식을 거꾸로 풀면 z = ln(p ÷ (1 − p)) 입니다. p ÷ (1 − p) 는 「될 확률 ÷ 안 될 확률」로, 오즈라고 부릅니다. 그래서 점수 z 가 1 오르면 오즈가 e 배(약 2.72배)가 됩니다. 이 점수를 책에서는 로짓(logit)이라고 부릅니다. 이 관계에서 거꾸로 시그모이드 식이 만들어지는 과정은 다음 절에서 그림으로 한 단계씩 봅니다.
해 볼 것. ① 처음 값 x = 2 에서 p = 0.881 입니다. x 를 −2 로 옮기면 0.119 입니다. 둘을 더하면 1 입니다. 곡선이 가운데 점 (0, 0.5) 를 두고 대칭이기 때문입니다. ② x 를 8 까지 올려도 p 는 「> 0.999」로 나옵니다. 1 에 아주 가깝지만 닿지는 않습니다. ③ x 를 1 에 두고 w 를 3 으로 올리면 p = 0.953, 0.3 으로 내리면 0.574 입니다. ④ w = 1 에서 b 를 2 로 올리면 곡선이 왼쪽으로 2 만큼 옮겨 가 0.5 를 x = −2 에서 지납니다. ⑤ w 를 0 으로 두면 곡선이 평평해집니다. x 가 무엇이든 p 가 같습니다.
3. 식이 만들어지는 과정: p = 1 ÷ (1 + e^(−z))
2절의 시그모이드 식은 어디서 나왔을까요? 점수와 확률은 범위가 다릅니다. 확률의 눈금을 두 번 바꿔(오즈, 그다음 로그 오즈) 점수와 범위를 맞추고, 둘을 같다고 둔 뒤 거꾸로 풀면 이 식이 나옵니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위의 식이 한 조각씩 바뀌고(옅은 주황 바탕이 이번에 붙은 조각, 진한 주황은 아직 틀린 곳), 그림이 바뀌고, 아래에 까닭이 나옵니다. 그림 위쪽은 가로가 점수 z 인 그래프이고, 세로 눈금이 단계마다 확률, 오즈, 로그 오즈로 바뀝니다. 옅은 주황 띠는 그 눈금에서 있을 수 없는 값입니다. 아래쪽은 같은 세 눈금을 나란히 놓은 수직선이고, 지금 그래프의 세로 눈금과 같은 줄에 바탕색이 깔립니다. 작은 점 다섯은 2절 표의 점수 −2 ~ 2 입니다(주황은 음수, 초록은 0 이상). 검은 점은 막대로 옮기는 점이고, ② 단계부터 점선이 줄마다 같은 점을 잇습니다.
- 범위가 다르다:
p = z ?점수z = w × x + b는 −∞ ~ ∞ 어디든 나오지만 확률 p 는 0 ~ 1 이어야 합니다. 맨 위 실험의 처음 값 z = 2 를 그대로 확률로 쓰면 p = 2 입니다. 그래프의 직선 p = z 는 0 과 1 을 뚫고 나갑니다(주황). 기울기를 바꿔도 곧은 선이면 언젠가 뚫고 나갑니다. 까닭: 범위가 다른 두 수는 「=」로 이을 수 없습니다. 한쪽의 눈금을 바꿔 범위를 맞춰야 합니다. - 확률 대신 오즈:
p ÷ (1 − p) = z ?오즈는 「될 확률 ÷ 안 될 확률」입니다. p = 0.5 면 1, p = 0.75 면 0.75 ÷ 0.25 = 3, p = 0.9 면 9 입니다. p 가 1 에 다가갈수록 끝없이 커지므로 위쪽이 ∞ 까지 열립니다. 그런데 아래쪽은 0 에서 막혀 있습니다. p 가 0.5 보다 작은 절반(주황 점 둘, 0.135 와 0.368)은 모두 0 ~ 1 사이에 몰리고, 0.5 이상인 절반(초록 점 1, 2.718, 7.389)은 1 ~ ∞ 로 넓게 퍼집니다. 까닭: 위쪽은 맞췄지만 오즈는 음수가 될 수 없어서, z 가 음수인 곳(그래프의 주황)은 아직 받지 못합니다. - 로그를 씌운다:
ln(p ÷ (1 − p)) = zln 은 1 보다 작은 수를 음수로, 1 보다 큰 수를 양수로 보냅니다. 그래서 0 ~ 1 에 몰려 있던 절반은 −∞ ~ 0 으로 펴지고, 1 ~ ∞ 는 0 ~ ∞ 가 되어 범위가 −∞ ~ ∞ 입니다. 다섯 점은 −2, −1, 0, 1, 2 로 1 씩 고르게 놓이고 0 을 두고 대칭입니다(오즈 1 ÷ 9 와 9 는 −2.197 과 2.197 이 됩니다). 이 로그 오즈를 점수 z 와 같다고 둡니다. 그래프의 직선이 모두 파랗게 됩니다. 까닭: 범위가 같아져 이제 「=」로 이을 수 있습니다. 이 줄은 증명이 아니라 로지스틱 회귀가 정하는 가정입니다(아래 「왜 하필 로그 오즈인가」). - 거꾸로 풀기 ①:
p ÷ (1 − p) = e^zln 과 e^ 는 서로 되돌리는 짝입니다(e^(ln a) = a). 양쪽에 e^ 를 씌우면 왼쪽의 ln 이 사라집니다. z = 2 면 오즈 = e^2 = 7.389 입니다. z 가 1 늘어 3 이 되면 오즈는 e^3 = 20.086, 곧 e 배(× 2.718)가 됩니다. 그래프에서는 곧은 선이 오즈 눈금 위에서 휘어 오르는 곡선 e^z 가 되고, 모두 0 보다 위에 있습니다. 까닭: 2절의 「점수 z 가 1 오르면 오즈가 e 배」가 여기서 나옵니다. 오즈 줄의 1, 2.718, 7.389 가 e^0, e^1, e^2 입니다. - 거꾸로 풀기 ②:
p = e^z ÷ (1 + e^z)양쪽에 (1 − p) 를 곱하면p = e^z − p × e^z. p × e^z 를 왼쪽으로 옮기면p × (1 + e^z) = e^z. 양쪽을 (1 + e^z) 로 나누면p = e^z ÷ (1 + e^z)입니다. z = 2 면 7.389 ÷ 8.389 = 0.881 로, 맨 위 실험의 처음 값과 같습니다. 그래프의 세로 눈금이 확률로 돌아오고, 곡선이 S 자로 휘어 0 ~ 1 띠 안에 들어옵니다. 까닭: e^z 는 늘 0 보다 크고 위(e^z)가 아래(1 + e^z)보다 꼭 1 작으므로, 어떤 z 를 넣어도 p 는 0 보다 크고 1 보다 작습니다. - 정리:
p = 1 ÷ (1 + e^(−z))위와 아래를 모두 e^z 로 나눕니다. 위는 1, 아래는 1 ÷ e^z + 1 = e^(−z) + 1 입니다(1 ÷ e^z = e^(−z)). z = 2 면 1 ÷ (1 + 0.135) = 0.881 로 같은 값입니다. 까닭: e^z 가 한 번만 나와 읽기 쉽고, z 가 커지면 e^(−z)(보라 점선)가 0 으로 가서 p 가 1 에 다가가는 것이 바로 보입니다. 두 꼴은 같은 식이라, 이 쪽의 실험 코드는 z 가 0 이상이면 이 꼴로, 음수면 ⑤ 의 꼴로 셈합니다. 어느 쪽이든 e 의 지수가 0 이하라 셈하다 넘치지 않습니다.
| 점수 z | −2 | −1 | 0 | 1 | 2 |
|---|---|---|---|---|---|
| 확률 p | 0.119 | 0.269 | 0.5 | 0.731 | 0.881 |
| 오즈 p ÷ (1 − p) = e^z | 0.135 | 0.368 | 1 | 2.718 | 7.389 |
| 로그 오즈 ln(오즈) | −2 | −1 | 0 | 1 | 2 |
z 가 1 늘 때마다 로그 오즈는 1 씩 더해지고, 오즈는 e 배씩 곱해집니다. 확률은 더하기도 곱하기도 아니라서 걸음이 고르지 않습니다(0.15, 0.23, 0.23, 0.15). 대신 0.5 를 두고 대칭입니다(0.119 + 0.881 = 1, 0.269 + 0.731 = 1).
왜 하필 로그 오즈인가. 0 ~ 1 을 −∞ ~ ∞ 로 펴는 길은 이것 하나가 아닙니다. 예를 들어 정규분포의 누적 확률을 거꾸로 쓰면 프로빗(probit) 모형이 됩니다. 그래서 ③ 단계는 증명이 아니라 고르는 일입니다. 로그 오즈를 고르면 「점수가 1 오르면 오즈가 e 배」라는 읽기 쉬운 뜻이 생기고, 교차 엔트로피와 짝을 이뤄 6절의 기울기가 (p − 정답) × 입력 으로 깔끔해집니다.
해 볼 것. ① 「다음」을 한 번 누르면 오즈 줄이 생깁니다. 주황 점 둘은 0 과 1 사이(0.135, 0.368)에 몰리고, 초록 점 셋은 1, 2.718, 7.389 로 넓게 퍼집니다. ② 한 번 더 누르면 다섯 점이 맨 아래 줄의 −2 ~ 2 에 1 씩 고르게 놓이고, 그래프의 직선에서 주황이 사라집니다. ③ ④ 단계에서 z 막대를 2 에서 3 으로 옮기면 오즈가 7.389 에서 20.086 으로 e 배가 됩니다. 그림의 눈금을 넘은 값은 가장자리에 세모로 표시합니다. ④ 마지막 단계에서 z 를 −4 로 두면 p = 0.018, 4 로 두면 0.982 이고, 둘을 더하면 1 입니다. ⑤ 첫 단계에서 z 를 0.5 로 두면 p = z 가 0 ~ 1 안에 들어와 괜찮아 보이지만, 1.3 으로 옮기면 다시 띠 밖(주황)으로 나갑니다.
4. 평면에서 가르기: 결정 경계
입력이 둘이면(가로 x₁, 세로 x₂) 가중치도 둘입니다. 점수는 z = w₁ × x₁ + w₂ × x₂ + b, 확률은 p = sigmoid(z) 입니다. 평면의 모든 자리에 p 가 하나씩 정해집니다.
p = 0.5 인 자리는 z = 0 인 자리, 곧 w₁ × x₁ + w₂ × x₂ + b = 0 인 자리입니다. 이것은 직선입니다. 이 선의 한쪽은 z > 0 이라 p > 0.5(1 로 판정), 다른 쪽은 p < 0.5(0 으로 판정)입니다. 이 선이 결정 경계입니다. 입력이 셋이면 경계는 평면, 더 많으면 그보다 한 차원 낮은 평평한 판이 됩니다. 어느 경우든 곧고 평평합니다.
화살표 w = (w₁, w₂) 는 경계선과 직각이고, p 가 커지는 쪽을 가리킵니다(내적이 점수를 정하기 때문입니다). 경계선에서 w 쪽으로 멀어질수록 p 가 1 에 가까워집니다. w 가 길수록 경계 근처에서 p 가 더 빨리 바뀝니다.
학습(경사 하강)
직접 맞춰 보기
점을 끌어 옮기거나, 점을 고르고 숫자를 고쳐 보세요. 점은 2~40개까지 둘 수 있습니다. 검은 테두리가 있는 점은 지금 틀리게 판정된 점이고, 점선 고리는 고른 점입니다. 검은 화살표 w 는 경계선과 직각이고 p 가 커지는 쪽을 가리킵니다. 자료는 지어낸 것이고, 시드(seed)를 고정한 난수로 만들어 늘 같은 자료가 나옵니다. 실제 문제는 입력이 수십~수천 개라 평면에 그릴 수 없지만 계산은 같습니다.
해 볼 것. ① 처음에는 w₁ = w₂ = b = 0 이라 모든 자리의 p 가 0.5 입니다. 경계선이 없고, 손실은 0.693, 맞힌 점은 10/20 입니다(p = 0.5 는 「0.5 이상」이라 모두 초록으로 판정합니다). ② 「직접 맞춰 보기」에서 w₁ 만 1 로 올리면 세로선 x₁ = 0 이 경계가 되어 20점을 모두 맞히고 손실은 0.262 입니다. w₂ 도 1 로 올리면 손실이 0.078 로 더 줄어듭니다. 맞힌 수는 같아도 손실은 「얼마나 확신하고 맞혔나」까지 봅니다. ③ w₂ 를 0 으로 되돌리고 w₁ 을 −1 로 바꾸면 경계는 같은 자리인데 쪽이 뒤집혀 20점을 모두 틀리고 손실이 1.652 가 됩니다.
5. 얼마나 틀렸나: 교차 엔트로피 손실
학습하려면 「지금 얼마나 틀렸나」를 숫자 하나로 적어야 합니다. 로지스틱 회귀는 점마다 이렇게 셈하고 평균을 냅니다.
정답이 1 이면 −ln(p), 정답이 0 이면 −ln(1 − p)
ln 은 자연로그(밑이 e)입니다. 두 식 모두 「정답 쪽에 준 확률」에 −ln 을 씌운 것입니다. 정답 쪽 확률이 1 에 가까우면 손실은 0 에 가깝고, 정답 쪽 확률이 0 에 가까우면 손실이 끝없이 커집니다. 곧 확신하고 틀리면 크게 벌을 받습니다.
| 정답 쪽에 준 확률 | 0.99 | 0.9 | 0.5 | 0.1 | 0.01 |
|---|---|---|---|---|---|
| 손실 −ln(확률) | 0.01 | 0.105 | 0.693 | 2.303 | 4.605 |
이것이 교차 엔트로피입니다. 정답(1 이 100% 인 분포)과 예측(1 이 p 인 분포) 사이의 교차 엔트로피를 셈하면 위의 식이 그대로 나옵니다. 「정답을 봤을 때 모델이 받은 놀람」의 평균이라고 읽어도 됩니다. 실험의 처음 손실 0.693 은 ln 2 입니다. 아무것도 모르고 모든 점에 0.5 를 준 모델의 손실이고, 밑이 2 인 로그로 적으면 1 비트입니다.
이 손실은 같은 자료에서 정답이 나올 확률(가능도)을 가장 크게 하는 것과 같은 일입니다. 확률들을 곱한 값을 크게 하는 것은 그 로그의 합을 크게 하는 것이고, 거기에 −를 붙여 평균한 것이 이 손실입니다. 그래서 「음의 로그 가능도」라고도 부릅니다.
로지스틱 회귀에서 이 손실은 가중치에 대해 그릇 모양(볼록)입니다. 얕은 골짜기에 갇히는 일이 없어, 학습률(learning rate, 한 번에 고치는 크기)만 알맞으면 어디서 출발해도 가장 낮은 곳으로 내려갑니다. 다만 두 무리가 직선 하나로 깔끔하게 갈리면 바닥이 없습니다. 가중치를 키울수록 손실이 0 에 다가가기만 합니다(12절).
6. 학습: 기울기는 (예측 − 정답) × 입력
학습은 손실이 작아지도록 w₁, w₂, b 를 고치는 일입니다. 방법은 경사 하강법입니다. 손실의 기울기를 셈해 그 반대쪽으로 한 스텝(step) 갑니다.
w₁ 쪽 기울기 = 평균[ (p − 정답) × x₁ ]w₂ 쪽 기울기 = 평균[ (p − 정답) × x₂ ]b 쪽 기울기 = 평균[ (p − 정답) ]한 스텝: 가중치 ← 가중치 − 학습률 × 기울기
깔끔한 꼴입니다. 점마다 틀린 만큼(p − 정답)과 입력의 크기를 곱한 것뿐입니다. 이미 잘 맞힌 점(p 가 정답에 가까운 점)은 거의 고치지 않고, 크게 틀린 점은 크게 고칩니다. 최소제곱 직선을 경사 하강으로 맞출 때의 기울기도 (예측 − 정답) × 입력 꼴이라 둘이 똑같이 생겼습니다.
왜 이렇게 깔끔한가. 손실을 가중치로 미분하는 것은 세 단계를 곱하는 일입니다(연쇄 법칙). ① 손실이 p 에 따라 바뀌는 정도는 (p − 정답) ÷ (p × (1 − p)) 입니다. ② 시그모이드의 기울기, 곧 p 가 z 에 따라 바뀌는 정도는 p × (1 − p) 입니다. ③ z 가 w₁ 에 따라 바뀌는 정도는 x₁ 입니다. 셋을 곱하면 p × (1 − p) 가 위아래에서 지워져 (p − 정답) × x₁ 만 남습니다. 교차 엔트로피와 시그모이드가 짝이 잘 맞는 까닭입니다.
손으로 따라가기: 점 둘로 한 스텝
점 A = (2, 1) 은 초록(정답 1), 점 B = (−1, −2) 는 주황(정답 0) 입니다. 처음 가중치는 w₁ = w₂ = b = 0, 학습률은 1 입니다.
- 점수와 확률. 가중치가 모두 0 이라 z_A = z_B = 0, p_A = p_B = 0.5.
- 손실. A: −ln(0.5) = 0.693. B: −ln(1 − 0.5) = 0.693. 평균 0.693.
- 틀린 만큼(p − 정답). A: 0.5 − 1 = −0.5. B: 0.5 − 0 = 0.5.
- 기울기. w₁ 쪽 = ((−0.5) × 2 + 0.5 × (−1)) ÷ 2 = (−1 − 0.5) ÷ 2 = −0.75. w₂ 쪽 = ((−0.5) × 1 + 0.5 × (−2)) ÷ 2 = −0.75. b 쪽 = (−0.5 + 0.5) ÷ 2 = 0.
- 한 스텝. w₁ = 0 − 1 × (−0.75) = 0.75, w₂ = 0.75, b = 0.
- 확인. z_A = 0.75 × 2 + 0.75 × 1 = 2.25 → p_A = 0.905. z_B = 0.75 × (−1) + 0.75 × (−2) = −2.25 → p_B = 0.095. 손실은 A, B 모두 −ln(0.905) = 0.1, 평균 0.1. 한 스텝에 0.693 에서 0.1 로 줄었습니다. 경계선은
0.75 × x₁ + 0.75 × x₂ = 0, 곧 x₂ = −x₁ 입니다.
해 볼 것. ① 실험에서 「손 예제(점 둘)」를 누르고(학습률 1) 「한 스텝」을 누르면 위와 같이 w₁ = 0.75, w₂ = 0.75, b = 0, 손실 0.1 이 나옵니다. ② 「잘 갈리는 것」을 누르고 「한 스텝」을 한 번 누르면 경계선이 생기면서 손실이 0.693 에서 0.144 로 줄고 20점을 모두 맞힙니다. ③ 이어서 「자동」을 누르면 830스텝쯤에서 기울기가 거의 0 이 되어 멈춥니다. 손실은 0.001 이고, w₁ 과 w₂ 가 3 을 넘어 바탕의 색이 경계 근처까지 짙어집니다. ④ 「조금 섞인 것」에서 「자동」을 누르면 42스텝 만에 멈춥니다. 손실 0.422, 맞힌 점 19/24(79%) 입니다. 어떤 직선도 섞인 점을 모두 맞힐 수는 없습니다.
7. 임계값: 꼭 0.5 가 아니어도 된다
로지스틱 회귀가 내놓는 것은 확률입니다. 「p 가 얼마 이상이면 1 로 판정한다」의 기준이 임계값이고, 기본은 0.5 입니다. 임계값을 바꾸면 경계선이 같은 방향 그대로 나란히 옮겨 갑니다. 경계선의 식이 w₁ × x₁ + w₂ × x₂ + b = ln(t ÷ (1 − t)) 로 오른쪽만 바뀌기 때문입니다(t 는 임계값).
판정이 틀리는 길은 둘입니다.
| 이름 | 뜻 | 임계값을 낮추면 | 임계값을 높이면 |
|---|---|---|---|
| 거짓 음성(false negative) | 진짜 1 인데 0 으로 판정(병이 있는데 「없음」) | 줄어든다 | 늘어난다 |
| 거짓 양성(false positive) | 진짜 0 인데 1 로 판정(정상 메일을 「스팸」) | 늘어난다 | 줄어든다 |
둘을 동시에 줄이는 임계값은 없습니다. 어느 실수가 더 비싼지에 따라 고릅니다. 병을 찾는 검사는 거짓 음성이 더 위험하니 임계값을 낮춥니다. 스팸 판정은 중요한 메일을 버리는 거짓 양성이 더 나쁘니 임계값을 높입니다. 「1 이라고 한 것 가운데 맞은 비율」을 정밀도, 「진짜 1 가운데 잡아낸 비율」을 재현율이라고 부릅니다. 임계값을 낮추면 재현율이 오르고 정밀도는 대개 내려갑니다.
해 볼 것. 「조금 섞인 것」에서 「자동」으로 학습을 마친 뒤 임계값 막대를 움직여 보세요. ① 0.5 에서는 거짓 음성 3, 거짓 양성 2 입니다. ② 0.1 로 내리면 거짓 음성 0, 거짓 양성 9 입니다. 초록은 하나도 놓치지 않지만 주황 12개 가운데 9개를 초록이라고 합니다. ③ 0.9 로 올리면 거짓 음성 8, 거짓 양성 1 입니다. ④ 0.3 에서는 거짓 음성 1, 거짓 양성 2 로 맞힌 비율이 88% 가 되어 0.5 일 때(79%)보다 높습니다. 학습은 손실을 줄일 뿐 맞힌 비율을 직접 키우지는 않으므로, 이런 일이 생길 수 있습니다.
8. 직선으로는 못 가르는 것
로지스틱 회귀의 경계는 늘 곧은 직선입니다. 그래서 「가운데와 둘레」처럼 한 무리가 다른 무리를 둘러싼 자료는 가를 수 없습니다. 어디에 직선을 그어도 둘레의 주황이 양쪽에 남습니다.
이때 학습은 「모두 주황」에 가깝게 갑니다. 모든 점에 초록일 확률을 0.29~0.43 쯤으로 주는데, 그 평균 0.365 는 자료에서 초록이 차지하는 몫(22개 가운데 8개, 0.364)과 거의 같습니다. b 쪽 기울기가 0 이 되는 조건이 바로 「p 의 평균 = 정답의 평균」이기 때문입니다. 모양으로는 알 수 있는 것이 없으니 「흔한 쪽」만 배운 셈입니다.
고치는 길은 둘입니다.
- 입력을 새로 만든다. 원점에서의 거리의 제곱
x₁² + x₂²를 입력으로 넣으면, 이 자료에서 가운데 점은 모두 4.45 이하, 둘레 점은 모두 9.05 이상이라 임계값 하나로 갈립니다. 다만 어떤 입력을 만들지 사람이 알아내야 합니다. - 신경망을 쓴다. 로지스틱 회귀 여러 개(뉴런)가 각자 직선을 긋고, 그 결과를 다시 섞으면 굽은 경계가 나옵니다. 어떤 입력을 만들지를 학습이 스스로 찾습니다. 신경망 쪽에서 이어집니다.
해 볼 것. 「가운데와 둘레」를 누르고 「자동」을 누르면 19스텝 만에 멈춥니다. 손실 0.652, 맞힌 점 14/22(64%), 거짓 음성 8, 거짓 양성 0. 초록 8개를 모두 놓치고 주황만 맞힌 결과입니다. 손으로 w₁, w₂, b 를 움직여 봐도 어떤 직선이든 많아야 15/22 입니다.
9. 무리가 셋 이상이면: 소프트맥스
고양이, 개, 새처럼 무리가 셋 이상이면 무리마다 가중치를 따로 두고 점수를 하나씩 셈합니다. 그 점수들을 확률로 바꾸는 함수가 소프트맥스입니다.
k 번째 무리의 확률 = e^(z_k) ÷ (e^(z_1) + e^(z_2) + … + e^(z_K))
e^ 를 씌워 모두 양수로 만든 뒤, 합으로 나눠 모두 더하면 1 이 되게 합니다. 예: 점수가 (2, 1, 0) 이면 e^2 = 7.389, e^1 = 2.718, e^0 = 1, 합 11.107. 확률은 (0.665, 0.245, 0.09) 입니다. 손실은 같은 교차 엔트로피, 곧 정답 무리에 준 확률의 −ln 입니다.
무리가 둘이면 소프트맥스는 시그모이드와 같습니다. e^(z₁) ÷ (e^(z₁) + e^(z₀)) = 1 ÷ (1 + e^(−(z₁ − z₀))) 이므로, 두 점수의 차이를 시그모이드에 넣은 것입니다. 언어 모델이 다음 낱말을 고를 때도 낱말마다의 점수를 소프트맥스로 확률로 바꿉니다. 그 확률에서 하나를 뽑는 이야기는 샘플링 쪽에 있습니다.
10. 신경망의 뉴런 하나가 로지스틱 회귀다
신경망의 뉴런 하나는 입력에 가중치를 곱해 더하고 편향을 더한 뒤, 그 값을 활성화 함수에 넣습니다. 활성화 함수가 시그모이드라면 뉴런 하나는 로지스틱 회귀와 똑같습니다. 학습하는 법도 같습니다. 손실의 기울기를 구해 경사 하강으로 고칩니다.
신경망은 이런 뉴런을 여러 층으로 쌓은 것입니다. 안쪽 층에서는 시그모이드 대신 ReLU 처럼 셈이 쉬운 함수를 많이 쓰고, 맨 끝 층에는 무리가 둘이면 시그모이드, 셋 이상이면 소프트맥스를 두는 일이 많습니다. 그래서 큰 분류 모델도 맨 끝에서는 이 쪽에서 본 일, 곧 「점수 → 확률 → 교차 엔트로피」를 그대로 합니다. 이어지는 이야기는 신경망 쪽에 있습니다.
11. 통계로 읽기: 계수는 오즈비다
여기까지는 「맞히기」 쪽에서 본 로지스틱 회귀입니다. 통계(의학·보건 연구)에서는 같은 모델을 다른 질문에 씁니다. 「이 요인이 있으면 결과가 일어날 가능성이 얼마나 달라지나」입니다. 그래서 학습한 계수를 읽는 법이 중심이 됩니다. 통계 책은 편향 b 를 b₀, 가중치 w 를 b₁ 로 적고(β₀, β₁ 로도 적습니다), 둘을 회귀 계수라고 부릅니다. 식은 같습니다.
오즈와 로그 오즈
3절에서 로그 오즈를 점수와 같다고 두고 거꾸로 풀어 시그모이드를 얻었습니다. 통계 책은 그 「같다고 둔」 줄에서 시작합니다.
오즈 = p ÷ (1 − p)ln(오즈) = b₀ + b₁ × x
될 확률 ÷ 안 될 확률(오즈, 승산)에 ln 을 씌운 것(로그 오즈, 로짓)이 x 에 대해 곧은 직선이라는 가정입니다. 확률 p 는 x 에 대해 직선이 아니라 S 자 곡선입니다. x = 0 이면 오른쪽에 b₀ 만 남으므로, b₀ 은 「x = 0 일 때의 로그 오즈」입니다.
계수 읽기: e^b₁ 이 오즈비
x 가 1 늘면 오른쪽은 b₁ 만큼 커집니다. 곧 로그 오즈가 b₁ 만큼 더해집니다. ln 을 풀면 더하기는 곱하기가 되므로(3절 ④) 오즈는 e^b₁ 배가 됩니다.
(x + 1 일 때의 오즈) ÷ (x 일 때의 오즈) = e^(b₀ + b₁ × (x + 1)) ÷ e^(b₀ + b₁ × x) = e^b₁
두 오즈의 비 e^b₁ 을 오즈비(odds ratio, 승산비)라고 부릅니다. x 가 어디에 있든 같은 값이라, 계수 하나를 숫자 하나로 읽을 수 있습니다. 1 보다 크면 오즈가 늘고, 1 이면 그대로(b₁ = 0, 관계 없음), 1 보다 작으면 줄어듭니다(b₁ 이 음수).
손으로 풀기. 담배를 피우면 x = 1, 안 피우면 x = 0 인 모델에서 b₁ = 0.69 가 나왔다고 합시다(지어낸 숫자). e^0.69 = 1.99, 약 2 입니다. 「피우는 사람은 안 피우는 사람보다 병이 생길 오즈가 약 2 배」라고 읽습니다. 나이처럼 이어지는 값이면 「1 살 많을 때마다 오즈가 e^b₁ 배」이고, 10 살이면 e^(10 × b₁) 배입니다.
회색 막대는 x = 0, 파란 막대는 x = 1 일 때의 확률이고, 검은 점선은 x = 0 일 때의 확률 자리입니다. 오른쪽 숫자는 그 줄의 확률과 오즈, 맨 아래 보라 글씨는 오즈비와 확률의 차이입니다. x 는 없음(0)과 있음(1)만 갖는 변수(예: 흡연)라고 보면 됩니다. 자료는 없고, b₀ 은 p₀ 에서 셈합니다(b₀ = ln(p₀ ÷ (1 − p₀))).
해 볼 것. ① 처음 값(p₀ = 0.1, b₁ = 0.69)에서 x = 1 일 때의 확률은 0.181 입니다. 오즈는 0.111 에서 0.222 로, 오즈비는 1.99 입니다. 확률은 0.081 올라 1.81 배입니다. ② b₁ 은 그대로 두고 p₀ 을 0.5 로 옮기면 오즈비는 1.99 그대로인데, 확률은 0.666 으로 0.166 오릅니다(1.33 배). 0.9 로 옮기면 0.947 로 0.047 만 오릅니다. ③ p₀ 을 0.01 로 내리면 확률이 1.97 배가 되어 오즈비 1.99 와 거의 같습니다. 드문 일에서만 오즈비를 「확률이 몇 배」로 읽어도 됩니다. ④ b₁ 을 0 으로 두면 오즈비가 1 이고 두 막대가 같습니다. −0.69 로 두면 오즈비 0.5, 확률은 0.1 에서 0.053 으로 내려갑니다.
오즈비는 확률의 배수가 아니다
오즈비 2 를 「확률이 2 배」로 읽으면 틀립니다. 오즈를 2 배 했을 때 확률이 얼마나 오르는지는 처음 확률에 따라 다릅니다. 처음 확률이 10% 면 18%(1.82 배), 50% 면 67%(1.33 배), 90% 면 95%(1.05 배)가 됩니다. 1% 면 1.98% 로 거의 2 배입니다.
드문 일에서는 1 − p 가 1 에 가까워 오즈와 확률이 거의 같습니다. 그래서 그때만 오즈비가 확률의 배수(상대위험)와 비슷합니다. 흔한 일일수록 둘이 벌어지고, 오즈비가 상대위험보다 1 에서 더 멀어집니다. 둘을 나란히 놓고 비교하는 이야기는 오즈비 쪽에 있습니다.
변수를 여럿 넣으면: 보정한 오즈비
ln(오즈) = b₀ + b₁ × 흡연 + b₂ × 나이
변수를 여럿 넣으면 e^b₁ 은 「나이를 같게 두었을 때, 피우는 사람과 안 피우는 사람의 오즈비」가 됩니다(보정한 오즈비, adjusted OR). 흡연 하나만 넣어 구한 오즈비(보정하지 않은 오즈비, crude OR)와 값이 다를 수 있습니다. 나이가 흡연과도 병과도 얽혀 있으면 그렇습니다. 이렇게 끼어드는 변수를 다루는 이야기는 교란 변수 쪽에 있습니다. 모델에 넣지 않은 변수는 보정되지 않습니다. 4절의 평면 실험도 입력이 둘인 같은 모델이라, 거기서 e^w₁ 은 x₂ 를 같게 두었을 때의 오즈비입니다.
계수를 구하는 법: 최대 가능도
통계 프로그램은 계수를 「가능도가 가장 커지는 값」으로 구합니다. 어떤 b₀, b₁ 이 맞다고 치고 손에 든 자료(누가 1 이고 누가 0 인지)가 그대로 나올 확률을 셈한 뒤, 그 확률이 가장 커지는 b₀, b₁ 을 고릅니다(최대 가능도 추정, 최대우도법, MLE). 5절에서 본 것처럼 그 확률의 로그에 −를 붙여 평균한 것이 교차 엔트로피 손실입니다. 그래서 가능도를 가장 크게 하는 것은 5~6절에서 손실을 가장 작게 하는 것과 같은 일이고, 규제(regularization, 12절의 벌점)를 넣지 않으면 답(계수)도 같습니다. 찾아가는 셈법만 경사 하강이 아닐 수 있습니다. 두 무리가 직선으로 깔끔하게 갈리면 가장 큰 곳이 없어 계수가 끝없이 커지고(12절), 오즈비를 읽을 수 없습니다.
신뢰구간과 검정
자료가 조금 달랐다면 b₁ 도 조금 달랐을 것입니다. 그 흔들림의 크기가 표준오차이고, 통계 프로그램이 계수 옆에 같이 적어 줍니다. 오즈비의 95% 신뢰구간은 b₁ 쪽에서 구간을 만든 뒤 e^ 를 씌웁니다. 1.96 을 쓰는 것은 정규분포에서 가운데 95% 가 평균에서 표준편차의 1.96 배 안에 들기 때문입니다.
e^(b₁ − 1.96 × 표준오차) ~ e^(b₁ + 1.96 × 표준오차), 줄여서 e^(b₁ ± 1.96 × 표준오차)
예: b₁ = 0.69, 표준오차 0.3 이면 0.69 ± 0.588, 곧 0.102 ~ 1.278 이고, e^ 를 씌우면 오즈비의 신뢰구간은 1.11 ~ 3.59 입니다. 1 을 품지 않으니 오즈비가 1 과 다르다(관계가 있다)고 말합니다. 표준오차가 0.4 면 0.91 ~ 4.37 로 1 을 품어, 차이가 있다고 말하기 어렵습니다. 같은 판정을 b₁ ÷ 표준오차 로도 합니다. 0.69 ÷ 0.3 = 2.3 은 1.96 을 넘고, 0.69 ÷ 0.4 = 1.725 는 넘지 않습니다. 이것이 왈드 검정입니다(1.96 을 넘으면 5% 기준으로 b₁ = 0 을 버립니다). 구간이 1.99 를 가운데에 두지 않고 오른쪽으로 길게 늘어진 것은, b₁ 쪽의 고른 구간에 e^ 를 씌웠기 때문입니다.
# 파이썬(statsmodels)으로 계수, 오즈비, 오즈비의 95% 신뢰구간 보기
import numpy as np
import statsmodels.formula.api as smf
# data: y(0 이나 1), x, age 열이 있는 표(pandas DataFrame)
model = smf.logit("y ~ x + age", data).fit()
np.exp(model.params) # 오즈비. x 의 값은 age 를 같게 둔 오즈비(보정한 오즈비)
np.exp(model.conf_int()) # 오즈비의 95% 신뢰구간
# scikit-learn 의 기본값과 달리 규제가 없어, 최대 가능도로 구한 계수가 그대로 나옵니다
12. 꼭 알아 둘 성질
| 성질 | 뜻 | 어디서 보나 |
|---|---|---|
| p 는 늘 0 과 1 사이, z = 0 이면 0.5 | 어떤 점수든 확률로 바뀌고, 0 과 1 에는 닿지 않는다 | 실험 1 에서 x = 8 이어도 「> 0.999」 |
sigmoid(−z) = 1 − sigmoid(z) | 곡선이 (0, 0.5) 를 두고 대칭이다. 1 쪽 확률과 0 쪽 확률이 같은 꼴 | x = 2 에서 0.881, x = −2 에서 0.119 |
| 경계는 곧은 선(평평한 판) | w₁x₁ + w₂x₂ + b = 0. w 는 경계와 직각이다 | 4절 실험의 검은 선과 화살표 w |
| 기울기 = 평균[(p − 정답) × 입력] | 틀린 만큼, 입력이 큰 만큼 고친다 | 6절의 손 예제 |
| 잘 갈리면 가중치가 끝없이 커진다 | 손실은 0 에 다가가기만 한다. 실제로는 가중치를 작게 두는 규제(벌점)를 더해 막는다 | 「잘 갈리는 것」에서 「자동」 |
어디에 쓰나
- 스팸 판정. 메일에 어떤 낱말이 몇 번 나왔는지를 입력으로 넣고 스팸일 확률을 냅니다. 임계값을 높게 두어 정상 메일을 버리는 일을 줄입니다.
- 누를지 예측. 광고나 추천 항목을 사람이 누를 확률을 맞힙니다. 확률 그대로 순서를 매기거나 기대 값을 셈하는 데 쓰므로, 0·1 판정보다 확률 자체가 중요합니다.
- 병 진단 보조. 나이, 혈압, 검사 수치로 병이 있을 확률을 냅니다. 가중치를 보면 어떤 수치가 확률을 얼마나 올리는지 설명할 수 있어, 설명이 필요한 분야에서 기준 모델로 흔히 씁니다. 거짓 음성이 위험하므로 임계값을 낮게 둡니다.
- 먼저 돌려 보는 기준. 빠르고 단순해서, 복잡한 모델을 만들기 전에 「이 정도는 나와야 한다」는 기준으로 먼저 돌려 봅니다.
# 파이썬(scikit-learn)으로 손 예제의 두 점을 학습하기
from sklearn.linear_model import LogisticRegression
X = [[2, 1], [-1, -2]] # 점 A, 점 B
y = [1, 0] # 초록 = 1, 주황 = 0
model = LogisticRegression().fit(X, y)
model.predict_proba([[0.5, 0.5]]) # [[0 일 확률, 1 일 확률]]
# 기본으로 규제(가중치를 작게 두는 벌점)가 켜져 있어 이 쪽의 숫자와는 조금 다릅니다
자주 묻는 것
로지스틱 회귀는 회귀인가요, 분류인가요?
0 과 1 사이의 확률(숫자 하나)을 맞히는 모델이라 이름에 회귀가 붙었습니다. 그 확률을 임계값으로 잘라 「이쪽인가 저쪽인가」를 정하므로 주로 분류에 씁니다.
왜 제곱 오차 대신 교차 엔트로피를 쓰나요?
시그모이드 뒤에 제곱 오차를 쓰면, 확신하고 크게 틀린 점에서 기울기가 거의 0 이 되어 고쳐지지 않고 손실도 그릇 모양이 아니게 됩니다. 교차 엔트로피를 쓰면 기울기가 (예측 − 정답) × 입력 으로 깔끔해지고, 많이 틀린 점일수록 크게 고칩니다.
시그모이드가 내놓는 값은 정말 확률인가요?
0 과 1 사이에 있고 확률처럼 맞춰지도록 학습하지만, 늘 믿을 만한 것은 아닙니다. 예를 들어 두 무리가 직선으로 깔끔하게 갈리면 학습할수록 0 과 1 쪽으로 지나치게 쏠립니다. 확률 값 그대로 쓸 일이면 따로 떼어 둔 자료로 맞는지 확인합니다.
임계값은 꼭 0.5 여야 하나요?
아닙니다. 임계값을 낮추면 거짓 음성이 줄고 거짓 양성이 늘고, 높이면 그 반대입니다. 어느 실수가 더 나쁜지에 따라 고릅니다. 병을 놓치면 안 되는 검사는 낮게, 정상 메일을 스팸으로 버리면 안 되는 스팸 판정은 높게 둡니다.
무리가 셋 이상이면 어떻게 하나요?
무리마다 점수를 하나씩 셈하고, 소프트맥스로 모두 더해 1 이 되는 확률들로 바꿉니다. 무리가 둘이면 소프트맥스는 시그모이드와 같아집니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 이쪽인가 저쪽인가 맞히기 | 분류(classification). 무리가 둘이면 이진 분류(binary classification) |
| 숫자 맞히기 | 회귀(regression) |
| S 자 곡선 | 시그모이드 함수(sigmoid function), 로지스틱 함수(logistic function) |
| 점수 z | 로짓(logit), 로그 오즈(log-odds) |
| 될 확률 ÷ 안 될 확률 | 오즈(odds), 승산 |
| x 가 1 늘 때 오즈가 몇 배가 되나(e^b₁) | 오즈비(odds ratio, OR), 승산비 |
| 다른 변수를 같게 두었을 때의 오즈비 | 보정한 오즈비(adjusted OR). 변수 하나만 넣어 구한 것은 보정하지 않은 오즈비(crude OR) |
| 자료가 나올 확률이 가장 커지는 계수 찾기 | 최대 가능도 추정(maximum likelihood estimation, MLE), 최대우도법 |
| 계수 ÷ 표준오차 를 1.96 과 비교하기 | 왈드 검정(Wald test) |
| ln 과 e^ (서로 되돌리는 짝) | 자연로그(natural logarithm)와 지수 함수(exponential function). 서로의 역함수(inverse function) |
| 곱하는 수 w, 더하는 수 b | 가중치(weight), 편향 또는 절편(bias, intercept) |
| 경계선 | 결정 경계(decision boundary) |
| 직선 하나로 가를 수 있다 | 선형 분리 가능(linearly separable) |
| 판정을 가르는 p 값 | 임계값(threshold) |
| 진짜 1 을 0 으로 판정 | 거짓 음성(false negative, FN) |
| 진짜 0 을 1 로 판정 | 거짓 양성(false positive, FP) |
| 맞힌 비율 | 정확도(accuracy) |
| 1 이라고 한 것 가운데 맞은 비율 / 진짜 1 가운데 잡아낸 비율 | 정밀도(precision) / 재현율(recall) |
| 손실(교차 엔트로피) | 교차 엔트로피 손실(cross-entropy loss), 로그 손실(log loss), 음의 로그 가능도(negative log-likelihood) |
| 한 번에 고치는 크기 | 학습률(learning rate) |
| 가중치를 작게 두는 벌점 | 규제(regularization) |
| 무리가 셋 이상일 때의 확률 바꾸기 | 소프트맥스(softmax), 다항 로지스틱 회귀(multinomial logistic regression) |
| 뉴런이 마지막에 씌우는 함수 | 활성화 함수(activation function) |
출처
- D. R. Cox, The Regression Analysis of Binary Sequences, Journal of the Royal Statistical Society Series B 20(2), 215–232. 0·1 로 된 자료에 로지스틱 모델을 쓰는 방법을 다룬 고전 논문.
- Tengyu Ma, Andrew Ng, CS229 Lecture Notes, 2장 Classification and logistic regression(2.1 로지스틱 회귀, 2.3 여러 무리 분류와 소프트맥스).
- Google Machine Learning Crash Course, Logistic regression, Thresholds and the confusion matrix.
- scikit-learn LogisticRegression 문서.
- statsmodels Logit 문서.