로그, 엔트로피, 교차 엔트로피, KL 발산
AI 분류 모델과 언어 모델은 「교차 엔트로피」라는 손실을 줄이며 배웁니다. 이 낱말은 「놀람」이라는 생각 하나에서 나옵니다. 일어날 줄 몰랐던 일이 일어나면 많이 놀랍니다. 그 놀람을 숫자로 재는 도구가 로그입니다. 확률을 움직이며 직접 보세요.
한 줄 답. 일어날 줄 몰랐던 일일수록 정보량(self-information, 놀람)이 크고, 그 크기를 −log(확률)로 잽니다. 엔트로피는 평균 놀람, 곧 얼마나 예측하기 어려운가입니다. 교차 엔트로피는 내 예측으로 실제를 볼 때의 평균 놀람이고, AI 분류 모델과 언어 모델의 손실로 씁니다. KL 발산은 그 둘의 차이, 곧 예측이 실제와 얼마나 다른가입니다.
그림을 누르거나 옆으로 끌면 확률 p 가 바뀝니다. 아래 초록 막대가 p, 검은 곡선이 놀람 −log₂ p 입니다. 보라 계단은 p 를 반으로 줄일 때마다(가로) 놀람이 1 비트씩 느는 것(세로)을 보여 줍니다.
1. 로그: 몇 번 곱했나
로그는 「몇 번 곱했나」를 묻는 셈입니다. 2 를 세 번 곱하면 8 입니다(2 × 2 × 2 = 8). 이것을 거꾸로 물어, 「8 은 2 를 몇 번 곱한 수인가?」의 답 3 을 log₂ 8 = 3 으로 적습니다. 아래에 작게 붙은 2 를 밑이라고 부릅니다. 무엇을 곱하는지입니다.
곱한 횟수가 정수가 아니어도 됩니다. 2 를 세 번 곱하면 8, 네 번 곱하면 16 이니 10 은 그 사이입니다. log₂ 10 ≈ 3.32. 1 보다 작은 수는 곱하는 대신 나눈 횟수라서 음수가 됩니다. log₂ 0.5 = −1, log₂ 0.25 = −2. 확률은 0 과 1 사이라 로그를 씌우면 0 이하가 됩니다. 그래서 앞에 빼기를 붙여 −log p 로 씁니다.
| 밑 | 적는 법 | 정보량의 단위 | 어디서 쓰나 |
|---|---|---|---|
| 2 | log₂ | 비트(bit) | 정보 이론, 압축. 공평한 동전 한 번 = 1 비트 |
| e (약 2.718) | ln(자연로그) | nat(내트) | AI 학습의 손실. 미분하면 식이 깔끔하다 |
| 10 | log₁₀ | 하틀리(hartley) | 자릿수 세기. log₁₀ 1000 = 3 |
e 는 2.718… 로 끝없이 이어지는 수(자연상수)입니다. 밑을 바꿔도 값에 같은 수가 곱해질 뿐입니다. log₂ x = ln x ÷ ln 2 라서 1 nat 은 약 1.443 비트입니다. 뜻은 같고 자(단위)만 다릅니다.
로그의 가장 쓸모 있는 성질은 곱하기를 더하기로 바꾼다는 것입니다.
log(a × b) = log a + log b
예: log₂(4 × 8) = log₂ 32 = 5 = 2 + 3. 4 는 2 를 두 번, 8 은 세 번 곱한 수이니, 둘을 곱하면 다섯 번 곱한 수가 됩니다.
2. 정보량(놀람): −log(확률)
확률이 p 인 일이 일어났을 때의 정보량을 이렇게 잽니다.
놀람 = −log p
왜 하필 로그일까요? 놀람이라는 숫자에 바라는 것이 셋 있습니다.
- 반드시 일어나는 일(p = 1)은 놀랍지 않다.
−log 1 = 0. - 드문 일일수록 더 놀랍다. p 가 작을수록
−log p가 크고, p 가 0 에 다가가면 끝없이 커진다. - 서로 상관없는 두 일이 같이 일어나면 놀람은 더해진다. 같이 일어날 확률은 곱해지므로(동전 앞면 ½ × 주사위 6 ⅙ = 1/12), 곱을 합으로 바꾸는 셈이 필요하다. 그것이 로그다.
밑을 2 로 잡으면 p 가 반이 될 때마다 놀람이 1 비트씩 늘어납니다. 공평한 동전의 앞면(½)은 1 비트, 동전 두 개가 모두 앞면(¼)은 2 비트, 세 개(⅛)는 3 비트입니다. 1 비트는 「반반인 예/아니오 질문 하나의 답」만큼의 정보입니다.
해 볼 것. ① 처음 p = 0.25 에서 놀람은 2 비트입니다. 「반으로」를 누를 때마다 0.125(3 비트), 0.0625(4 비트)로 1 비트씩 늘어납니다. ② p 를 0.1 로 두면 3.32 비트, 0.001 이면 9.97 비트입니다. 1000 번에 한 번 일어나는 일은 동전 열 개가 모두 앞면인 일(1/1024, 10 비트)만큼 놀랍습니다. ③ 설명의 셋째 줄을 보세요. p 에 동전의 ½ 을 곱하면 놀람에는 1 이 더해집니다. p = 0.1 이면 0.1 × 0.5 = 0.05, 놀람은 3.32 + 1 = 4.32 비트입니다.
3. 엔트로피: 평균 놀람
일어날 수 있는 결과가 여럿이고, 결과마다 확률이 있습니다. 이 확률의 목록을 확률 분포라고 부릅니다(모두 더하면 1). 결과마다 놀람이 다르니, 확률만큼 가중치를 주어 평균을 내면 「평균적으로 얼마나 놀라나」가 나옵니다. 이것이 엔트로피입니다. 얼마나 예측하기 어려운가를 나타냅니다.
H(p) = Σ pᵢ × (−log pᵢ)
Σ 는 「모두 더한다」, pᵢ 는 i 번째 결과의 확률입니다. 확률이 0 인 결과는 일어나지 않으니 그 항은 0 으로 칩니다(0 × log 0 = 0).
손으로 셈해 보기: 동전 셋
- 공평한 동전(앞 0.5, 뒤 0.5). 놀람은 둘 다
−log₂ 0.5 = 1비트.H = 0.5 × 1 + 0.5 × 1 = 1 비트. - 치우친 동전(앞 0.9, 뒤 0.1). 앞면의 놀람
−log₂ 0.9 ≈ 0.152, 뒷면의 놀람−log₂ 0.1 ≈ 3.322.H = 0.9 × 0.152 + 0.1 × 3.322 ≈ 0.137 + 0.332 ≈ 0.47 비트. - 늘 앞면인 동전(1, 0).
H = 1 × 0 = 0 비트. 결과를 미리 아니 놀랄 일이 없습니다.
치우친 동전은 대개 앞면이라 맞히기 쉽고, 그래서 엔트로피가 작습니다. 결과가 n 가지일 때 엔트로피는 모두 같은 확률(1/n)일 때 가장 크고, 그 값은 log₂ n 입니다. 네 가지면 2 비트입니다.
4. 교차 엔트로피: 내 예측으로 볼 때의 평균 놀람
실제로 일이 일어나는 비율은 p 인데, 우리는 그것을 모르고 예측 q 를 들고 있습니다. 결과를 볼 때 우리가 느끼는 놀람은 내 예측에서 나옵니다. 확률이 qᵢ 라고 생각했던 일이 일어났으니 놀람은 −log qᵢ 입니다. 그 일은 실제로 pᵢ 의 비율로 일어납니다. 평균을 내면 이렇습니다.
H(p, q) = Σ pᵢ × (−log qᵢ)
엔트로피 식에서 놀람 쪽의 p 만 q 로 바꾼 것입니다. 가중치는 실제 p, 놀람은 예측 q 에서 옵니다. 예측이 실제와 같으면(q = p) 엔트로피와 같고, 다르면 늘 더 큽니다.
이 식이 막대의 넓이로 한 단계씩 만들어지는 모습은 6. 식이 만들어지는 과정에 있습니다.
q 가 0 이면. 실제로 일어나는 일(pᵢ가 0 보다 큼)에 예측이 0 을 줬다면, 그 일이 일어날 때 놀람은 −log 0 = ∞(무한대)입니다. 그래서 교차 엔트로피도 무한대가 됩니다. 「절대 안 일어난다」고 했다가 틀리면 벌이 끝이 없습니다. 거꾸로 pᵢ = 0 인 결과는 일어나지 않으니, q 가 무엇을 줬든 그 항은 0 입니다.
실제 p 와 예측 q 의 막대를 위아래로 끌거나 숫자를 고치세요. 막대 하나를 바꾸면 합이 1 이 되도록 나머지 막대가 서로의 비율을 지키며 줄거나 늡니다. 주황 KL 막대는 교차 엔트로피 막대가 엔트로피를 넘는 부분과 같은 자리, 같은 길이입니다. 빗금 막대는 무한대입니다.
해 볼 것. ① 처음 모습은 날씨의 실제 비율 p = (0.5, 0.25, 0.125, 0.125) 와 「고르게 찍은 예측」 q = (0.25, 0.25, 0.25, 0.25) 입니다. 엔트로피 1.75 비트, 교차 엔트로피 2 비트, KL 0.25 비트입니다. ② 「예측이 실제와 같음」을 누르면 두 값이 1.75 로 같아지고 KL 이 0 이 됩니다. ③ 「확신하며 틀림」은 눈에 0.97 을 건 예측입니다. 교차 엔트로피가 5.82 비트로 치솟습니다. ④ 예측 q 의 「맑음」 막대를 0 까지 내리면 교차 엔트로피와 KL 이 ∞ 가 됩니다.
5. KL 발산: 예측이 실제와 얼마나 다른가
교차 엔트로피에는 두 가지가 섞여 있습니다. 실제가 원래 가진 예측하기 어려움(엔트로피)과, 내 예측이 틀려서 더 놀란 몫입니다. 뒤의 몫만 떼어 낸 것이 KL 발산입니다. ‖ 앞에 실제, 뒤에 예측을 적습니다.
KL(p‖q) = H(p, q) − H(p) = Σ pᵢ × log(pᵢ ÷ qᵢ)
- 0 이상이다. 예측이 실제와 같을 때만 0 이다. 틀린 예측으로 덜 놀랄 수는 없다.
- 뒤집으면 값이 다르다. 치우친 동전 p = (0.9, 0.1) 을 공평한 동전 q = (0.5, 0.5) 로 예측하면
KL(p‖q) ≈ 0.53비트, 거꾸로KL(q‖p) ≈ 0.74비트입니다. 서울에서 부산까지와 부산에서 서울까지가 다른 거리는 없습니다. 그래서 KL 은 「다른 정도」를 재지만 보통 말하는 거리는 아닙니다. - 교차 엔트로피를 줄이는 것 = KL 을 줄이는 것. 실제 p 는 정해져 있어 H(p) 는 예측을 어떻게 바꿔도 그대로입니다. 그래서 q 를 고쳐 교차 엔트로피를 줄이면, 줄어드는 것은 KL 뿐입니다. AI 학습이 교차 엔트로피를 줄이는 것은 「예측 분포를 실제 분포에 가깝게」 만드는 일입니다.
해 볼 것. ① 「치우친 동전」을 누르면 엔트로피 0.47, 교차 엔트로피 1, KL 0.53 비트입니다. 설명의 마지막 줄에 뒤집은 KL(q‖p) = 0.74 가 나옵니다. ② 처음 모습(날씨, 고르게 찍은 예측)에서는 우연히 두 방향이 모두 0.25 로 같습니다. 「확신하며 틀림」에서는 4.07 과 2.73 으로 크게 다릅니다. ③ 「고르게 찍은 예측」에서 실제 p 의 「맑음」을 0.25 로 내려 보세요. p 가 (0.25, 0.375, 0.1875, 0.1875) 로 고르게 퍼지면서 엔트로피는 1.94 로 늘고 KL 은 0.06 으로 줄어듭니다. 실제가 예측에 가까워진 만큼 KL 이 작아집니다.
6. 식이 만들어지는 과정: 교차 엔트로피와 KL
교차 엔트로피 H(p, q) = −Σ pᵢ × log qᵢ 와 KL(p‖q) = H(p, q) − H(p) 를 막대의 넓이로 한 단계씩 만들어 봅니다. 자료는 실험 ②의 처음 모습과 같습니다. 실제 날씨 p = (0.5, 0.25, 0.125, 0.125), 고르게 찍은 예보 q = (0.25, 0.25, 0.25, 0.25). 막대의 높이는 놀람(비트), 가로 폭은 그 날씨가 실제로 오는 비율입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 그만큼 바뀌고, 아래에 까닭이 나옵니다. 막대 위의 숫자는 높이(놀람), 안의 숫자는 넓이(비율 × 놀람)입니다. 좁은 막대에 들어가지 않는 숫자는 아래 설명에 있습니다. 파랑은 예보 q 로 본 놀람, 초록은 실제 p 로 본 놀람, 주황은 예보가 틀려서 더 놀란 몫, 보라 빗금은 덜 놀란 몫입니다.
- 놀람:
−log qᵢ. 예보는 네 날씨에 모두 0.25 를 줬으니 어느 날씨가 와도 놀람은−log₂ 0.25 = 2비트입니다. 까닭: 우리가 느끼는 놀람은 실제 확률이 아니라 내가 들고 있던 예측에서 나옵니다(4절). - 실제 비율을 가중치로:
pᵢ × (−log qᵢ). 막대의 가로 폭을 실제 비율 0.5, 0.25, 0.125, 0.125 로 바꿉니다. 넓이는 1, 0.5, 0.25, 0.25 가 됩니다. 까닭: 맑은 날은 이틀에 한 번 오니 맑음의 놀람은 절반의 날에 겪습니다. 자주 겪는 놀람일수록 평균에 크게 들어가야 합니다. - 모두 더하기:
H(p, q) = Σ pᵢ × (−log qᵢ).1 + 0.5 + 0.25 + 0.25 = 2비트. 이것이 교차 엔트로피입니다. 빼기를 Σ 앞으로 꺼내−Σ pᵢ × log qᵢ로도 적습니다. 까닭: 가로 폭을 모두 더하면 1 이라, 넓이의 합은 「하루 평균 몇 비트 놀라나」와 같습니다. 막대를 평평하게 고르면 그 높이가 됩니다(가로 점선). - 예측 대신 실제로:
H(p) = −Σ pᵢ × log pᵢ. 놀람을 실제 비율로 재면 높이가 1, 2, 3, 3 비트로 바뀌고, 넓이의 합은0.5 + 0.5 + 0.375 + 0.375 = 1.75비트, 곧 엔트로피입니다. 가로 폭은 실제라 그대로이고 높이만 바뀝니다. 까닭: 예측이 완벽해도 날씨는 여전히 섞여 오므로 이만큼은 놀랄 수밖에 없습니다. 이것이 바닥입니다. 어떤 q 를 넣어도 넓이는 1.75 보다 작아지지 않고, q = p 일 때만 1.75 입니다. 이 사실(정보 부등식. 깁스 부등식이라고도 한다)은 여기서는 증명하지 않습니다. 실험 ②에서 예측 q 의 막대를 이리저리 끌어 보면 교차 엔트로피가 1.75 아래로 내려가지 않습니다. - 차이:
KL(p‖q) = Σ pᵢ × log(pᵢ ÷ qᵢ). 날씨마다 q 로 본 넓이에서 p 로 본 넓이를 뺍니다.pᵢ × (−log qᵢ) − pᵢ × (−log pᵢ) = pᵢ × log(pᵢ ÷ qᵢ). 맑음0.5 × (2 − 1) = 0.5, 흐림 0, 비와 눈은 각각0.125 × (2 − 3) = −0.125. 까닭: 몫 하나하나는 음수일 수 있습니다. 예보가 비와 눈에 실제(0.125)보다 많이(0.25) 줘서, 비가 오는 날은 오히려 덜 놀랍니다. 그래도 확률은 합이 1 이라 어딘가에 더 주면 다른 데서 빼야 하고, 빠진 맑음에서 더 놀라는 몫이 더 큽니다. 합은0.5 + 0 − 0.125 − 0.125 = 0.25. - 완성:
H(p, q) = −Σ pᵢ × log qᵢ = H(p) + KL(p‖q). 주황 넓이 0.5 에서 보라 넓이 0.25 를 빼고 남은 0.25 가 바닥 위에 얹힙니다.2 = 1.75 + 0.25. 교차 엔트로피는 바닥(엔트로피) 위에 KL 이 얹힌 것입니다. 그래서KL(p‖q) = H(p, q) − H(p)이고, 4단계의 바닥 때문에 늘 0 이상입니다. 학습이 q 를 고쳐 교차 엔트로피를 줄이면 바닥은 그대로이고 KL 만 줄어듭니다(5절).
7. 손으로 따라 풀기: 날씨 예보
어느 도시의 날씨가 실제로 맑음 0.5, 흐림 0.25, 비 0.125, 눈 0.125 의 비율로 온다고 합시다. 예보는 이것을 모르고 넷을 똑같이 0.25 로 예측합니다. 위 실험의 처음 모습입니다.
- 실제 비율로 본 정보량.
−log₂ 0.5 = 1,−log₂ 0.25 = 2,−log₂ 0.125 = 3,−log₂ 0.125 = 3비트. - 엔트로피.
H(p) = 0.5×1 + 0.25×2 + 0.125×3 + 0.125×3 = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 비트. - 예보로 본 정보량. 예보는 무엇이든 0.25 라고 했으니, 어떤 날씨가 와도
−log₂ 0.25 = 2비트. - 교차 엔트로피.
H(p, q) = 0.5×2 + 0.25×2 + 0.125×2 + 0.125×2 = 2 비트. - KL 발산.
KL(p‖q) = 2 − 1.75 = 0.25 비트. 식으로 바로 셈해도 같습니다.0.5×log₂ 2 + 0.25×log₂ 1 + 0.125×log₂ 0.5 + 0.125×log₂ 0.5 = 0.5 + 0 − 0.125 − 0.125 = 0.25.
이 숫자는 압축으로도 읽을 수 있습니다. 날씨를 0 과 1 로 적어 보낸다면, 실제 비율에 맞춘 부호(맑음 0, 흐림 10, 비 110, 눈 111)로는 하루 평균 1.75 자리가 들고, 고르게 맞춘 부호(넷 모두 두 자리)로는 2 자리가 듭니다. 차이 0.25 자리가 틀린 예측 때문에 더 드는 값, 곧 KL 입니다.
8. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 예 |
|---|---|---|
H(p) ≥ 0 | 평균 놀람은 음수가 아니다. 결과가 하나로 정해져 있을 때만 0 | 늘 앞면인 동전 0 비트 |
H(p) ≤ log₂ n | 결과가 n 가지면, 모두 같은 확률일 때 가장 예측하기 어렵다 | 넷이면 2 비트 |
H(p, q) ≥ H(p), 곧 KL(p‖q) ≥ 0 | 다른 분포로 예측하면 평균 놀람은 같거나 늘어난다. 같을 때는 q = p 일 때뿐 | 날씨 2 ≥ 1.75 |
대개 KL(p‖q) ≠ KL(q‖p) | 뒤집으면 값이 다르다. 거리가 아니다 | 동전 0.53 과 0.74 |
pᵢ가 0 보다 큰데 qᵢ = 0 이면 H(p, q) = KL = ∞ | 일어나는 일을 「절대 없다」고 예측하면 벌이 끝이 없다 | 실험 ②의 빗금 막대 |
9. AI 의 손실: 정답이 하나일 때
사진을 보고 고양이, 개, 새 가운데 하나를 고르는 분류 모델이 있습니다. 모델은 답 하나가 아니라 셋의 확률을 냅니다(예: 고양이 0.9, 개 0.07, 새 0.03). 이런 확률은 보통 소프트맥스로 만듭니다. 사진의 정답이 고양이라면 실제 분포는 고양이만 1, 나머지는 0 인 목록 (1, 0, 0) 입니다. 이런 목록을 원-핫이라고 부릅니다.
원-핫 정답과 모델의 예측으로 교차 엔트로피를 셈하면, 0 이 곱해지는 항이 모두 사라지고 하나만 남습니다.
손실 = H(정답, 예측) = 1 × (−log q정답) = −log(정답에 준 확률)
정답에 준 확률만 중요합니다. 틀린 답들 사이에 나머지를 어떻게 나눴는지는 손실에 들어가지 않습니다. 원-핫의 엔트로피는 0 이라, 이때는 교차 엔트로피와 KL 이 같은 값입니다.
여기의 「모델」은 확률 셋을 손으로 정하는 작게 줄인 본보기입니다. 진짜 분류 모델은 사진을 보고 이 확률을 셈해 내고, 학습은 이 손실이 줄어드는 쪽으로 모델 안의 숫자(가중치)를 고칩니다. 고양이 막대를 끌거나 숫자를 고치세요. 나머지 확률은 개와 새가 2 : 1 로 나눕니다.
| 정답에 준 확률 | 손실(nat) | 손실(비트) | 퍼플렉서티 |
|---|---|---|---|
| 0.99 | 0.01 | 0.01 | 1.01 |
| 0.9 | 0.11 | 0.15 | 1.11 |
| 0.5 | 0.69 | 1 | 2 |
| 0.1 | 2.3 | 3.32 | 10 |
| 0.01 | 4.61 | 6.64 | 100 |
정답 확률이 0.99 에서 0.5 로 내려가는 동안 손실은 0.68 nat 늘 뿐이지만, 0.1 에서 0.01 로 내려가면 2.3 nat 이 늡니다. 확신하며 틀린 답에 큰 벌을 주는 것이 교차 엔트로피 손실의 성질입니다. 정답 확률이 작을수록 손실의 기울기(그래디언트)도 가팔라서, 경사 하강법은 크게 틀린 예측을 크게 고칩니다.
퍼플렉서티는 e^(손실 nat) 입니다. 비트로 셈했다면 2^(손실 비트) 이고 값은 같습니다. 정답이 하나일 때는 1 ÷ (정답에 준 확률) 과 같아서, 「모델이 몇 개의 후보 가운데서 헷갈린 셈인가」로 읽습니다.
해 볼 것. ① 처음 정답 확률 0.9 에서 손실은 0.11 nat, 퍼플렉서티는 1.11 입니다. ② 고양이 막대를 0.01 까지 내리면 손실이 4.61 nat 으로 치솟고 퍼플렉서티는 100 이 됩니다. ③ 「밑 2(비트)」로 바꾸면 같은 자리에서 6.64 비트입니다. 숫자는 약 1.443 배가 되지만 곡선의 모양은 같고, 퍼플렉서티도 100 그대로입니다. ④ 정답 확률을 0.5 에 두면 손실은 0.69 nat, 곧 1 비트입니다.
어디에 쓰나
- 분류 모델의 손실. 사진 분류, 스팸 거르기처럼 여러 답 가운데 하나를 고르는 모델은 교차 엔트로피를 손실로 많이 씁니다. 답이 둘(예/아니오)일 때의 교차 엔트로피가 로지스틱 회귀의 손실(로그 손실)입니다. 이 손실을 경사 하강법으로 줄이는 것이 학습입니다.
- 언어 모델의 학습 손실과 퍼플렉서티. 언어 모델은 글을 토큰(낱말 조각)으로 나누고 다음 토큰을 맞힙니다. 토큰이 수만 가지인 분류입니다. 학습 손실은 실제로 나온 다음 토큰에 모델이 준 확률의 −log 를 모든 자리에서 평균 낸 값입니다. 퍼플렉서티는
e^(손실)입니다. 손실이 ln 10 ≈ 2.3 nat 이면 퍼플렉서티는 10 이고, 「매번 10 개의 후보 가운데서 고르게 헷갈리는 정도」로 읽습니다. 낮을수록 좋습니다. 모델이 다음 토큰의 확률을 내는 방법은 샘플링 쪽의 소프트맥스에 있습니다. - 지식 증류. 큰 모델(선생)이 낸 확률 분포 전체를 작은 모델(학생)의 정답으로 삼아 교차 엔트로피를 줄입니다. 선생의 분포는 정해져 있으니, 이것은 KL 을 줄이는 것과 같습니다. 「고양이 0.9, 개 0.07」처럼 원-핫보다 많은 것(무엇이 무엇과 닮았나)을 가르칠 수 있습니다(Hinton, Vinyals, Dean).
- 압축. 엔트로피는 자료를 잃지 않고 압축할 때 한 글자에 드는 평균 비트의 하한이고, 다른 분포 q 에 맞춘 부호로 압축하면 평균 H(p, q) 비트가 들어 KL 만큼 손해를 봅니다(7절의 날씨 부호).
자주 묻는 것
엔트로피가 뭔가요?
결과를 볼 때 평균적으로 얼마나 놀라는지, 곧 얼마나 예측하기 어려운지를 나타내는 숫자입니다. 결과마다 −log(확률)을 셈하고 확률만큼 가중치를 주어 평균을 냅니다. 공평한 동전은 1 비트, 늘 앞면만 나오는 동전은 0 비트입니다.
교차 엔트로피와 KL 발산은 무엇이 다른가요?
교차 엔트로피 = 엔트로피 + KL 발산입니다. 교차 엔트로피는 내 예측으로 실제를 볼 때의 평균 놀람 전체이고, KL 발산은 그 가운데 예측이 틀려서 더 놀란 몫입니다. 실제 분포가 정해져 있으면 엔트로피는 바뀌지 않으므로, 교차 엔트로피를 줄이는 것과 KL 발산을 줄이는 것은 같은 일입니다.
KL 발산은 거리인가요?
아닙니다. 0 이상이고 두 분포가 같을 때만 0 이지만, 뒤집으면 값이 달라집니다. 치우친 동전 (0.9, 0.1) 을 실제 p, 공평한 동전 (0.5, 0.5) 을 예측 q 로 두면 KL(p‖q) 는 약 0.53 비트, KL(q‖p) 는 약 0.74 비트입니다.
왜 로그를 쓰나요?
서로 상관없는 두 일이 같이 일어날 확률은 곱해지는데, 놀람은 더해지는 것이 자연스럽기 때문입니다. 로그는 곱하기를 더하기로 바꿉니다. 또 아주 작은 확률을 여러 번 곱하면 컴퓨터에서 0 이 되어 버리지만, 로그를 더하면 그런 일이 없습니다.
비트와 nat 은 무엇이 다른가요?
로그의 밑만 다릅니다. 밑이 2 면 비트, 밑이 e(약 2.718)면 nat 입니다. 같은 양을 다른 자로 잰 것이라 1 nat 은 약 1.443 비트입니다. AI 학습 라이브러리는 보통 자연로그(nat)로 셈합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 몇 번 곱했나 | 로그(logarithm). 밑이 e 면 자연로그(natural logarithm, ln) |
| 놀람, −log p | 정보량, 자기 정보(self-information), surprisal |
| 평균 놀람 | 엔트로피(entropy), 섀넌 엔트로피(Shannon entropy) |
| 내 예측으로 볼 때의 평균 놀람 | 교차 엔트로피(cross-entropy) |
| 예측이 틀려서 더 놀란 몫 | KL 발산(Kullback-Leibler divergence), 상대 엔트로피(relative entropy) |
| 결과마다의 확률 목록 | 확률 분포(probability distribution) |
| 정답 칸만 1 인 목록 | 원-핫 벡터(one-hot vector) |
| 정답에 준 확률의 −log | 음의 로그 가능도(negative log-likelihood, NLL), 로그 손실(log loss) |
| 밑 2 의 단위, 밑 e 의 단위 | 비트(bit. 섀넌 shannon 이라고도 한다), 내트(nat) |
| 몇 개의 후보 가운데서 헷갈린 셈인가 | 퍼플렉서티(perplexity) |
| 틀린 정도 | 손실(loss), 손실 함수(loss function) |
| 모델이 낸 점수(로짓)를 확률로 바꾸는 셈 | 소프트맥스(softmax) |
| 큰 모델의 확률을 작은 모델이 따라 배우기 | 지식 증류(knowledge distillation) |
출처
- Shannon, C. E. (1948). A Mathematical Theory of Communication. 엔트로피와 압축의 하한.
- Kullback, S., Leibler, R. A. (1951). On Information and Sufficiency. KL 발산.
- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 2장(엔트로피, 상대 엔트로피)과 5장(압축).
- Hinton, Vinyals, Dean (2015). Distilling the Knowledge in a Neural Network. 지식 증류.
- PyTorch torch.nn.CrossEntropyLoss 문서.
- Hugging Face Transformers 문서: Perplexity of fixed-length models. 퍼플렉서티 = 평균 음의 로그 가능도의 지수.