로그, 엔트로피, 교차 엔트로피, KL 발산

AI 분류 모델과 언어 모델은 「교차 엔트로피」라는 손실을 줄이며 배웁니다. 이 낱말은 「놀람」이라는 생각 하나에서 나옵니다. 일어날 줄 몰랐던 일이 일어나면 많이 놀랍니다. 그 놀람을 숫자로 재는 도구가 로그입니다. 확률을 움직이며 직접 보세요.

한 줄 답. 일어날 줄 몰랐던 일일수록 정보량(self-information, 놀람)이 크고, 그 크기를 −log(확률)로 잽니다. 엔트로피는 평균 놀람, 곧 얼마나 예측하기 어려운가입니다. 교차 엔트로피는 내 예측으로 실제를 볼 때의 평균 놀람이고, AI 분류 모델과 언어 모델의 손실로 씁니다. KL 발산은 그 둘의 차이, 곧 예측이 실제와 얼마나 다른가입니다.

그림을 누르거나 옆으로 끌면 확률 p 가 바뀝니다. 아래 초록 막대가 p, 검은 곡선이 놀람 −log₂ p 입니다. 보라 계단은 p 를 반으로 줄일 때마다(가로) 놀람이 1 비트씩 느는 것(세로)을 보여 줍니다.

1. 로그: 몇 번 곱했나

로그는 「몇 번 곱했나」를 묻는 셈입니다. 2 를 세 번 곱하면 8 입니다(2 × 2 × 2 = 8). 이것을 거꾸로 물어, 「8 은 2 를 몇 번 곱한 수인가?」의 답 3 을 log₂ 8 = 3 으로 적습니다. 아래에 작게 붙은 2 를 밑이라고 부릅니다. 무엇을 곱하는지입니다.

곱한 횟수가 정수가 아니어도 됩니다. 2 를 세 번 곱하면 8, 네 번 곱하면 16 이니 10 은 그 사이입니다. log₂ 10 ≈ 3.32. 1 보다 작은 수는 곱하는 대신 나눈 횟수라서 음수가 됩니다. log₂ 0.5 = −1, log₂ 0.25 = −2. 확률은 0 과 1 사이라 로그를 씌우면 0 이하가 됩니다. 그래서 앞에 빼기를 붙여 −log p 로 씁니다.

밑적는 법정보량의 단위어디서 쓰나
2log₂비트(bit)정보 이론, 압축. 공평한 동전 한 번 = 1 비트
e (약 2.718)ln(자연로그)nat(내트)AI 학습의 손실. 미분하면 식이 깔끔하다
10log₁₀하틀리(hartley)자릿수 세기. log₁₀ 1000 = 3

e 는 2.718… 로 끝없이 이어지는 수(자연상수)입니다. 밑을 바꿔도 값에 같은 수가 곱해질 뿐입니다. log₂ x = ln x ÷ ln 2 라서 1 nat 은 약 1.443 비트입니다. 뜻은 같고 자(단위)만 다릅니다.

로그의 가장 쓸모 있는 성질은 곱하기를 더하기로 바꾼다는 것입니다.

log(a × b) = log a + log b

예: log₂(4 × 8) = log₂ 32 = 5 = 2 + 3. 4 는 2 를 두 번, 8 은 세 번 곱한 수이니, 둘을 곱하면 다섯 번 곱한 수가 됩니다.

2. 정보량(놀람): −log(확률)

확률이 p 인 일이 일어났을 때의 정보량을 이렇게 잽니다.

놀람 = −log p

왜 하필 로그일까요? 놀람이라는 숫자에 바라는 것이 셋 있습니다.

  1. 반드시 일어나는 일(p = 1)은 놀랍지 않다. −log 1 = 0.
  2. 드문 일일수록 더 놀랍다. p 가 작을수록 −log p 가 크고, p 가 0 에 다가가면 끝없이 커진다.
  3. 서로 상관없는 두 일이 같이 일어나면 놀람은 더해진다. 같이 일어날 확률은 곱해지므로(동전 앞면 ½ × 주사위 6 ⅙ = 1/12), 곱을 합으로 바꾸는 셈이 필요하다. 그것이 로그다.

밑을 2 로 잡으면 p 가 반이 될 때마다 놀람이 1 비트씩 늘어납니다. 공평한 동전의 앞면(½)은 1 비트, 동전 두 개가 모두 앞면(¼)은 2 비트, 세 개(⅛)는 3 비트입니다. 1 비트는 「반반인 예/아니오 질문 하나의 답」만큼의 정보입니다.

해 볼 것. ① 처음 p = 0.25 에서 놀람은 2 비트입니다. 「반으로」를 누를 때마다 0.125(3 비트), 0.0625(4 비트)로 1 비트씩 늘어납니다. ② p 를 0.1 로 두면 3.32 비트, 0.001 이면 9.97 비트입니다. 1000 번에 한 번 일어나는 일은 동전 열 개가 모두 앞면인 일(1/1024, 10 비트)만큼 놀랍습니다. ③ 설명의 셋째 줄을 보세요. p 에 동전의 ½ 을 곱하면 놀람에는 1 이 더해집니다. p = 0.1 이면 0.1 × 0.5 = 0.05, 놀람은 3.32 + 1 = 4.32 비트입니다.

3. 엔트로피: 평균 놀람

일어날 수 있는 결과가 여럿이고, 결과마다 확률이 있습니다. 이 확률의 목록을 확률 분포라고 부릅니다(모두 더하면 1). 결과마다 놀람이 다르니, 확률만큼 가중치를 주어 평균을 내면 「평균적으로 얼마나 놀라나」가 나옵니다. 이것이 엔트로피입니다. 얼마나 예측하기 어려운가를 나타냅니다.

H(p) = Σ pᵢ × (−log pᵢ)

Σ 는 「모두 더한다」, pᵢ 는 i 번째 결과의 확률입니다. 확률이 0 인 결과는 일어나지 않으니 그 항은 0 으로 칩니다(0 × log 0 = 0).

손으로 셈해 보기: 동전 셋

  1. 공평한 동전(앞 0.5, 뒤 0.5). 놀람은 둘 다 −log₂ 0.5 = 1 비트. H = 0.5 × 1 + 0.5 × 1 = 1 비트.
  2. 치우친 동전(앞 0.9, 뒤 0.1). 앞면의 놀람 −log₂ 0.9 ≈ 0.152, 뒷면의 놀람 −log₂ 0.1 ≈ 3.322. H = 0.9 × 0.152 + 0.1 × 3.322 ≈ 0.137 + 0.332 ≈ 0.47 비트.
  3. 늘 앞면인 동전(1, 0). H = 1 × 0 = 0 비트. 결과를 미리 아니 놀랄 일이 없습니다.

치우친 동전은 대개 앞면이라 맞히기 쉽고, 그래서 엔트로피가 작습니다. 결과가 n 가지일 때 엔트로피는 모두 같은 확률(1/n)일 때 가장 크고, 그 값은 log₂ n 입니다. 네 가지면 2 비트입니다.

4. 교차 엔트로피: 내 예측으로 볼 때의 평균 놀람

실제로 일이 일어나는 비율은 p 인데, 우리는 그것을 모르고 예측 q 를 들고 있습니다. 결과를 볼 때 우리가 느끼는 놀람은 내 예측에서 나옵니다. 확률이 qᵢ 라고 생각했던 일이 일어났으니 놀람은 −log qᵢ 입니다. 그 일은 실제로 pᵢ 의 비율로 일어납니다. 평균을 내면 이렇습니다.

H(p, q) = Σ pᵢ × (−log qᵢ)

엔트로피 식에서 놀람 쪽의 p 만 q 로 바꾼 것입니다. 가중치는 실제 p, 놀람은 예측 q 에서 옵니다. 예측이 실제와 같으면(q = p) 엔트로피와 같고, 다르면 늘 더 큽니다.

이 식이 막대의 넓이로 한 단계씩 만들어지는 모습은 6. 식이 만들어지는 과정에 있습니다.

q 가 0 이면. 실제로 일어나는 일(pᵢ가 0 보다 큼)에 예측이 0 을 줬다면, 그 일이 일어날 때 놀람은 −log 0 = ∞(무한대)입니다. 그래서 교차 엔트로피도 무한대가 됩니다. 「절대 안 일어난다」고 했다가 틀리면 벌이 끝이 없습니다. 거꾸로 pᵢ = 0 인 결과는 일어나지 않으니, q 가 무엇을 줬든 그 항은 0 입니다.

실제 p: 실제로 일어나는 비율
예측 q: 모델이 낸 확률
엔트로피 H(p) 교차 엔트로피 H(p, q) KL(p‖q) 0

실제 p 와 예측 q 의 막대를 위아래로 끌거나 숫자를 고치세요. 막대 하나를 바꾸면 합이 1 이 되도록 나머지 막대가 서로의 비율을 지키며 줄거나 늡니다. 주황 KL 막대는 교차 엔트로피 막대가 엔트로피를 넘는 부분과 같은 자리, 같은 길이입니다. 빗금 막대는 무한대입니다.

해 볼 것. ① 처음 모습은 날씨의 실제 비율 p = (0.5, 0.25, 0.125, 0.125) 와 「고르게 찍은 예측」 q = (0.25, 0.25, 0.25, 0.25) 입니다. 엔트로피 1.75 비트, 교차 엔트로피 2 비트, KL 0.25 비트입니다. ② 「예측이 실제와 같음」을 누르면 두 값이 1.75 로 같아지고 KL 이 0 이 됩니다. ③ 「확신하며 틀림」은 눈에 0.97 을 건 예측입니다. 교차 엔트로피가 5.82 비트로 치솟습니다. ④ 예측 q 의 「맑음」 막대를 0 까지 내리면 교차 엔트로피와 KL 이 ∞ 가 됩니다.

5. KL 발산: 예측이 실제와 얼마나 다른가

교차 엔트로피에는 두 가지가 섞여 있습니다. 실제가 원래 가진 예측하기 어려움(엔트로피)과, 내 예측이 틀려서 더 놀란 몫입니다. 뒤의 몫만 떼어 낸 것이 KL 발산입니다. ‖ 앞에 실제, 뒤에 예측을 적습니다.

KL(p‖q) = H(p, q) − H(p) = Σ pᵢ × log(pᵢ ÷ qᵢ)

해 볼 것. ① 「치우친 동전」을 누르면 엔트로피 0.47, 교차 엔트로피 1, KL 0.53 비트입니다. 설명의 마지막 줄에 뒤집은 KL(q‖p) = 0.74 가 나옵니다. ② 처음 모습(날씨, 고르게 찍은 예측)에서는 우연히 두 방향이 모두 0.25 로 같습니다. 「확신하며 틀림」에서는 4.07 과 2.73 으로 크게 다릅니다. ③ 「고르게 찍은 예측」에서 실제 p 의 「맑음」을 0.25 로 내려 보세요. p 가 (0.25, 0.375, 0.1875, 0.1875) 로 고르게 퍼지면서 엔트로피는 1.94 로 늘고 KL 은 0.06 으로 줄어듭니다. 실제가 예측에 가까워진 만큼 KL 이 작아집니다.

6. 식이 만들어지는 과정: 교차 엔트로피와 KL

교차 엔트로피 H(p, q) = −Σ pᵢ × log qᵢ 와 KL(p‖q) = H(p, q) − H(p) 를 막대의 넓이로 한 단계씩 만들어 봅니다. 자료는 실험 ②의 처음 모습과 같습니다. 실제 날씨 p = (0.5, 0.25, 0.125, 0.125), 고르게 찍은 예보 q = (0.25, 0.25, 0.25, 0.25). 막대의 높이는 놀람(비트), 가로 폭은 그 날씨가 실제로 오는 비율입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 그만큼 바뀌고, 아래에 까닭이 나옵니다. 막대 위의 숫자는 높이(놀람), 안의 숫자는 넓이(비율 × 놀람)입니다. 좁은 막대에 들어가지 않는 숫자는 아래 설명에 있습니다. 파랑은 예보 q 로 본 놀람, 초록은 실제 p 로 본 놀람, 주황은 예보가 틀려서 더 놀란 몫, 보라 빗금은 덜 놀란 몫입니다.

  1. 놀람: −log qᵢ. 예보는 네 날씨에 모두 0.25 를 줬으니 어느 날씨가 와도 놀람은 −log₂ 0.25 = 2 비트입니다. 까닭: 우리가 느끼는 놀람은 실제 확률이 아니라 내가 들고 있던 예측에서 나옵니다(4절).
  2. 실제 비율을 가중치로: pᵢ × (−log qᵢ). 막대의 가로 폭을 실제 비율 0.5, 0.25, 0.125, 0.125 로 바꿉니다. 넓이는 1, 0.5, 0.25, 0.25 가 됩니다. 까닭: 맑은 날은 이틀에 한 번 오니 맑음의 놀람은 절반의 날에 겪습니다. 자주 겪는 놀람일수록 평균에 크게 들어가야 합니다.
  3. 모두 더하기: H(p, q) = Σ pᵢ × (−log qᵢ). 1 + 0.5 + 0.25 + 0.25 = 2 비트. 이것이 교차 엔트로피입니다. 빼기를 Σ 앞으로 꺼내 −Σ pᵢ × log qᵢ 로도 적습니다. 까닭: 가로 폭을 모두 더하면 1 이라, 넓이의 합은 「하루 평균 몇 비트 놀라나」와 같습니다. 막대를 평평하게 고르면 그 높이가 됩니다(가로 점선).
  4. 예측 대신 실제로: H(p) = −Σ pᵢ × log pᵢ. 놀람을 실제 비율로 재면 높이가 1, 2, 3, 3 비트로 바뀌고, 넓이의 합은 0.5 + 0.5 + 0.375 + 0.375 = 1.75 비트, 곧 엔트로피입니다. 가로 폭은 실제라 그대로이고 높이만 바뀝니다. 까닭: 예측이 완벽해도 날씨는 여전히 섞여 오므로 이만큼은 놀랄 수밖에 없습니다. 이것이 바닥입니다. 어떤 q 를 넣어도 넓이는 1.75 보다 작아지지 않고, q = p 일 때만 1.75 입니다. 이 사실(정보 부등식. 깁스 부등식이라고도 한다)은 여기서는 증명하지 않습니다. 실험 ②에서 예측 q 의 막대를 이리저리 끌어 보면 교차 엔트로피가 1.75 아래로 내려가지 않습니다.
  5. 차이: KL(p‖q) = Σ pᵢ × log(pᵢ ÷ qᵢ). 날씨마다 q 로 본 넓이에서 p 로 본 넓이를 뺍니다. pᵢ × (−log qᵢ) − pᵢ × (−log pᵢ) = pᵢ × log(pᵢ ÷ qᵢ). 맑음 0.5 × (2 − 1) = 0.5, 흐림 0, 비와 눈은 각각 0.125 × (2 − 3) = −0.125. 까닭: 몫 하나하나는 음수일 수 있습니다. 예보가 비와 눈에 실제(0.125)보다 많이(0.25) 줘서, 비가 오는 날은 오히려 덜 놀랍니다. 그래도 확률은 합이 1 이라 어딘가에 더 주면 다른 데서 빼야 하고, 빠진 맑음에서 더 놀라는 몫이 더 큽니다. 합은 0.5 + 0 − 0.125 − 0.125 = 0.25.
  6. 완성: H(p, q) = −Σ pᵢ × log qᵢ = H(p) + KL(p‖q). 주황 넓이 0.5 에서 보라 넓이 0.25 를 빼고 남은 0.25 가 바닥 위에 얹힙니다. 2 = 1.75 + 0.25. 교차 엔트로피는 바닥(엔트로피) 위에 KL 이 얹힌 것입니다. 그래서 KL(p‖q) = H(p, q) − H(p) 이고, 4단계의 바닥 때문에 늘 0 이상입니다. 학습이 q 를 고쳐 교차 엔트로피를 줄이면 바닥은 그대로이고 KL 만 줄어듭니다(5절).

7. 손으로 따라 풀기: 날씨 예보

어느 도시의 날씨가 실제로 맑음 0.5, 흐림 0.25, 비 0.125, 눈 0.125 의 비율로 온다고 합시다. 예보는 이것을 모르고 넷을 똑같이 0.25 로 예측합니다. 위 실험의 처음 모습입니다.

  1. 실제 비율로 본 정보량. −log₂ 0.5 = 1, −log₂ 0.25 = 2, −log₂ 0.125 = 3, −log₂ 0.125 = 3 비트.
  2. 엔트로피. H(p) = 0.5×1 + 0.25×2 + 0.125×3 + 0.125×3 = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 비트.
  3. 예보로 본 정보량. 예보는 무엇이든 0.25 라고 했으니, 어떤 날씨가 와도 −log₂ 0.25 = 2 비트.
  4. 교차 엔트로피. H(p, q) = 0.5×2 + 0.25×2 + 0.125×2 + 0.125×2 = 2 비트.
  5. KL 발산. KL(p‖q) = 2 − 1.75 = 0.25 비트. 식으로 바로 셈해도 같습니다. 0.5×log₂ 2 + 0.25×log₂ 1 + 0.125×log₂ 0.5 + 0.125×log₂ 0.5 = 0.5 + 0 − 0.125 − 0.125 = 0.25.

이 숫자는 압축으로도 읽을 수 있습니다. 날씨를 0 과 1 로 적어 보낸다면, 실제 비율에 맞춘 부호(맑음 0, 흐림 10, 비 110, 눈 111)로는 하루 평균 1.75 자리가 들고, 고르게 맞춘 부호(넷 모두 두 자리)로는 2 자리가 듭니다. 차이 0.25 자리가 틀린 예측 때문에 더 드는 값, 곧 KL 입니다.

8. 꼭 알아야 할 성질

성질쉬운 말예
H(p) ≥ 0평균 놀람은 음수가 아니다. 결과가 하나로 정해져 있을 때만 0늘 앞면인 동전 0 비트
H(p) ≤ log₂ n결과가 n 가지면, 모두 같은 확률일 때 가장 예측하기 어렵다넷이면 2 비트
H(p, q) ≥ H(p), 곧 KL(p‖q) ≥ 0다른 분포로 예측하면 평균 놀람은 같거나 늘어난다. 같을 때는 q = p 일 때뿐날씨 2 ≥ 1.75
대개 KL(p‖q) ≠ KL(q‖p)뒤집으면 값이 다르다. 거리가 아니다동전 0.53 과 0.74
pᵢ가 0 보다 큰데 qᵢ = 0 이면 H(p, q) = KL = ∞일어나는 일을 「절대 없다」고 예측하면 벌이 끝이 없다실험 ②의 빗금 막대

9. AI 의 손실: 정답이 하나일 때

사진을 보고 고양이, 개, 새 가운데 하나를 고르는 분류 모델이 있습니다. 모델은 답 하나가 아니라 셋의 확률을 냅니다(예: 고양이 0.9, 개 0.07, 새 0.03). 이런 확률은 보통 소프트맥스로 만듭니다. 사진의 정답이 고양이라면 실제 분포는 고양이만 1, 나머지는 0 인 목록 (1, 0, 0) 입니다. 이런 목록을 원-핫이라고 부릅니다.

원-핫 정답과 모델의 예측으로 교차 엔트로피를 셈하면, 0 이 곱해지는 항이 모두 사라지고 하나만 남습니다.

손실 = H(정답, 예측) = 1 × (−log q정답) = −log(정답에 준 확률)

정답에 준 확률만 중요합니다. 틀린 답들 사이에 나머지를 어떻게 나눴는지는 손실에 들어가지 않습니다. 원-핫의 엔트로피는 0 이라, 이때는 교차 엔트로피와 KL 이 같은 값입니다.

모델의 답(작게 줄인 본보기). 정답은 고양이
손실 = −log(정답에 준 확률)

여기의 「모델」은 확률 셋을 손으로 정하는 작게 줄인 본보기입니다. 진짜 분류 모델은 사진을 보고 이 확률을 셈해 내고, 학습은 이 손실이 줄어드는 쪽으로 모델 안의 숫자(가중치)를 고칩니다. 고양이 막대를 끌거나 숫자를 고치세요. 나머지 확률은 개와 새가 2 : 1 로 나눕니다.

정답에 준 확률손실(nat)손실(비트)퍼플렉서티
0.990.010.011.01
0.90.110.151.11
0.50.6912
0.12.33.3210
0.014.616.64100

정답 확률이 0.99 에서 0.5 로 내려가는 동안 손실은 0.68 nat 늘 뿐이지만, 0.1 에서 0.01 로 내려가면 2.3 nat 이 늡니다. 확신하며 틀린 답에 큰 벌을 주는 것이 교차 엔트로피 손실의 성질입니다. 정답 확률이 작을수록 손실의 기울기(그래디언트)도 가팔라서, 경사 하강법은 크게 틀린 예측을 크게 고칩니다.

퍼플렉서티는 e^(손실 nat) 입니다. 비트로 셈했다면 2^(손실 비트) 이고 값은 같습니다. 정답이 하나일 때는 1 ÷ (정답에 준 확률) 과 같아서, 「모델이 몇 개의 후보 가운데서 헷갈린 셈인가」로 읽습니다.

해 볼 것. ① 처음 정답 확률 0.9 에서 손실은 0.11 nat, 퍼플렉서티는 1.11 입니다. ② 고양이 막대를 0.01 까지 내리면 손실이 4.61 nat 으로 치솟고 퍼플렉서티는 100 이 됩니다. ③ 「밑 2(비트)」로 바꾸면 같은 자리에서 6.64 비트입니다. 숫자는 약 1.443 배가 되지만 곡선의 모양은 같고, 퍼플렉서티도 100 그대로입니다. ④ 정답 확률을 0.5 에 두면 손실은 0.69 nat, 곧 1 비트입니다.

어디에 쓰나

자주 묻는 것

엔트로피가 뭔가요?

결과를 볼 때 평균적으로 얼마나 놀라는지, 곧 얼마나 예측하기 어려운지를 나타내는 숫자입니다. 결과마다 −log(확률)을 셈하고 확률만큼 가중치를 주어 평균을 냅니다. 공평한 동전은 1 비트, 늘 앞면만 나오는 동전은 0 비트입니다.

교차 엔트로피와 KL 발산은 무엇이 다른가요?

교차 엔트로피 = 엔트로피 + KL 발산입니다. 교차 엔트로피는 내 예측으로 실제를 볼 때의 평균 놀람 전체이고, KL 발산은 그 가운데 예측이 틀려서 더 놀란 몫입니다. 실제 분포가 정해져 있으면 엔트로피는 바뀌지 않으므로, 교차 엔트로피를 줄이는 것과 KL 발산을 줄이는 것은 같은 일입니다.

KL 발산은 거리인가요?

아닙니다. 0 이상이고 두 분포가 같을 때만 0 이지만, 뒤집으면 값이 달라집니다. 치우친 동전 (0.9, 0.1) 을 실제 p, 공평한 동전 (0.5, 0.5) 을 예측 q 로 두면 KL(p‖q) 는 약 0.53 비트, KL(q‖p) 는 약 0.74 비트입니다.

왜 로그를 쓰나요?

서로 상관없는 두 일이 같이 일어날 확률은 곱해지는데, 놀람은 더해지는 것이 자연스럽기 때문입니다. 로그는 곱하기를 더하기로 바꿉니다. 또 아주 작은 확률을 여러 번 곱하면 컴퓨터에서 0 이 되어 버리지만, 로그를 더하면 그런 일이 없습니다.

비트와 nat 은 무엇이 다른가요?

로그의 밑만 다릅니다. 밑이 2 면 비트, 밑이 e(약 2.718)면 nat 입니다. 같은 양을 다른 자로 잰 것이라 1 nat 은 약 1.443 비트입니다. AI 학습 라이브러리는 보통 자연로그(nat)로 셈합니다.

낱말

여기서 쓴 말책에서 부르는 말
몇 번 곱했나로그(logarithm). 밑이 e 면 자연로그(natural logarithm, ln)
놀람, −log p정보량, 자기 정보(self-information), surprisal
평균 놀람엔트로피(entropy), 섀넌 엔트로피(Shannon entropy)
내 예측으로 볼 때의 평균 놀람교차 엔트로피(cross-entropy)
예측이 틀려서 더 놀란 몫KL 발산(Kullback-Leibler divergence), 상대 엔트로피(relative entropy)
결과마다의 확률 목록확률 분포(probability distribution)
정답 칸만 1 인 목록원-핫 벡터(one-hot vector)
정답에 준 확률의 −log음의 로그 가능도(negative log-likelihood, NLL), 로그 손실(log loss)
밑 2 의 단위, 밑 e 의 단위비트(bit. 섀넌 shannon 이라고도 한다), 내트(nat)
몇 개의 후보 가운데서 헷갈린 셈인가퍼플렉서티(perplexity)
틀린 정도손실(loss), 손실 함수(loss function)
모델이 낸 점수(로짓)를 확률로 바꾸는 셈소프트맥스(softmax)
큰 모델의 확률을 작은 모델이 따라 배우기지식 증류(knowledge distillation)

출처

← 정규분포기술통계 →