정답 표현: 인덱스, 원-핫, 레이블 스무딩
분류 모델에게 「이 사진은 고양이」라고 알려 주는 방법은 여럿입니다. 번호 하나, 한 칸만 1 인 막대, 조금 덜어 나눠 준 막대, 큰 모델이 낸 확률. 정답 막대를 바꾸면 같은 예측의 손실과 모델이 가려는 곳이 어떻게 달라지는지 직접 움직여 보세요.
한 줄 답. 분류의 정답은 보통 클래스 번호 하나(인덱스)로 주고, 손실 계산에서는 그 칸만 1 인 원-핫 막대와 같은 뜻입니다. 정답을 확률 막대로 줄 수도 있습니다. 정답에서 ε 를 덜어 모든 칸에 나누는 레이블 스무딩 y′ = (1 − ε)·y + ε ÷ K, 큰 모델의 확률을 그대로 정답으로 쓰는 지식 증류입니다. 원-핫이면 모델은 정답 로짓(logit, softmax 전의 점수)을 끝없이 키우려 하고, 확률 막대면 그 막대에 맞춘 곳에서 멈춥니다. 한 자료에 정답이 여럿일 수 있으면(다중 레이블) softmax 대신 클래스마다 sigmoid 와 이진 교차 엔트로피를 씁니다.
위 단추로 정답 막대(초록)를 고릅니다. ε 는 레이블 스무딩일 때만 움직입니다. 고양이 로짓 z₁ 을 바꾸면 예측(파랑)과 아래 곡선의 검은 점이 움직입니다. 다른 세 칸의 로짓은 1, 0, −1 로 고정입니다. 진짜 모델 대신 로짓 네 개로 작게 줄인 본보기입니다. 진짜 학습에서는 자료마다 모든 칸의 로짓이 같이 움직이고, 선생 모델의 확률 (0.7, 0.2, 0.07, 0.03) 은 지어낸 값입니다.
1. 정답을 주는 모양
분류 모델은 클래스마다 로짓 z 를 하나씩 내고, softmax 가 로짓을 합이 1 인 예측 확률 p 로 바꿉니다. 정답 y 와 예측 p 가 얼마나 다른지는 교차 엔트로피로 잽니다: 손실 = −Σ y_k·log p_k (k 는 클래스 번호, K 는 클래스 수). 이 식에서 정답 y 는 칸마다 숫자가 있는 막대입니다. 그 막대를 어떻게 채우느냐가 이 쪽의 주제입니다. 고양이·개·여우·토끼 넷(K = 4) 가운데 고양이 사진이라면 이렇습니다.
| 모양 | 정답(고양이, 개, 여우, 토끼) | 칸의 합 | 짝이 되는 손실 |
|---|---|---|---|
| 클래스 인덱스 | 0 (고양이의 번호) | (번호 하나) | −log p_정답 |
| 원-핫 | (1, 0, 0, 0) | 1 | softmax + 교차 엔트로피. 인덱스와 같은 값 |
| 레이블 스무딩(ε = 0.1) | (0.925, 0.025, 0.025, 0.025) | 1 | softmax + 교차 엔트로피 |
| 선생 모델의 확률(지식 증류) | (0.7, 0.2, 0.07, 0.03) | 1 | softmax + 교차 엔트로피 |
| 다중 레이블(고양이와 개가 같이 있다) | (1, 1, 0, 0) | 1 이 아니다 | 칸마다 sigmoid + 이진 교차 엔트로피 |
원-핫은 정답 칸 말고는 0 이라 손실의 합에서 정답 칸 하나만 남습니다. 그래서 인덱스와 원-핫은 같은 손실이고, 인덱스는 원-핫을 줄여 적은 것입니다. 원-핫, 스무딩, 선생의 확률은 모두 「합이 1 인 확률 막대」라 같은 손실에 넣습니다. 다중 레이블만 질문이 다릅니다. 「넷 가운데 무엇인가」가 아니라 「칸마다 있나 없나」라서 합이 1 일 까닭이 없습니다(5절).
2. 식이 만들어지는 과정: 레이블 스무딩
원-핫 정답에서 출발해 한 조각씩 붙입니다. ε(엡실론)은 덜어 낼 몫, K 는 클래스 수입니다. 실험은 ε = 0.1, K = 4 입니다.
- 처음:
y. 원-핫. 정답 칸이 1, 나머지가 0 입니다. - 덜어 내기:
(1 − ε)·y. 정답 칸이 0.9 가 됩니다. 까닭: 정답을 100% 로 믿지 않게 하려면 정답 칸의 몫을 1 아래로 낮춰야 합니다. 이대로는 합이 0.9 라 확률이 아닙니다. - 나눠 주기:
(1 − ε)·y + ε ÷ K. 덜어 낸 0.1 을 네 칸에 0.025 씩 똑같이 나눕니다. 정답 칸도 한 몫을 받습니다. 까닭: 합을 다시 1 로 맞춰야 하고, 어느 틀린 칸이 더 그럴듯한지 모르니 똑같이 나눕니다. 모든 칸이 1 ÷ K 인 균등분포(uniform distribution)를 ε 만큼 섞는 것과 같습니다. - 완성:
y′ = (1 − ε)·y + ε ÷ K. y′ = (0.925, 0.025, 0.025, 0.025). 정답 칸은1 − ε + ε ÷ K입니다. 이제 손실이 가장 작은 예측은 p = y′ 이고, 그때 정답 칸 로짓과 다른 칸 로짓의 차는ln(0.925 ÷ 0.025) = ln 37 ≈ 3.61입니다. 원-핫과 달리 끝이 있습니다.
구현마다 조금 다를 수 있습니다. PyTorch 의 label_smoothing 은 이 식처럼 정답 칸까지 K 칸에 나눕니다. 정답 칸을 빼고 나머지 K − 1 칸에만 나누는 코드도 있으니, 쓰는 도구의 문서를 확인합니다.
해 볼 것. 「다음」을 세 번 누르며 위의 합을 보세요. 1 → 0.9 → 1 로 바뀌고, 정답 칸은 1 → 0.9 → 0.925 가 됩니다. 0.9 가 아니라 0.925 인 것은 정답 칸도 나눠 준 몫 0.025 를 받기 때문입니다.
3. 손으로 풀어 보기
실험의 처음 로짓 z = (2, 1, 0, −1) 로 세 정답의 손실을 냅니다. 로그는 자연로그(ln)입니다.
- e^z 와 그 합. e² ≈ 7.389, e¹ ≈ 2.718, e⁰ = 1, e⁻¹ ≈ 0.368. 합 ≈ 11.475,
ln 11.475 ≈ 2.44. - 예측. 하나씩 합으로 나누면 p ≈ (0.644, 0.237, 0.087, 0.032).
- 칸마다 −log p.
−log p_k = 2.44 − z_k라서 0.44, 1.44, 2.44, 3.44 입니다. - 정답 막대로 무게를 매겨 더하기. 원-핫:
1 × 0.44 = 0.44. 스무딩:0.925 × 0.44 + 0.025 × (1.44 + 2.44 + 3.44) ≈ 0.407 + 0.183 = 0.59. 선생:0.7 × 0.44 + 0.2 × 1.44 + 0.07 × 2.44 + 0.03 × 3.44 ≈ 0.308 + 0.288 + 0.171 + 0.103 = 0.87.
| 정답 막대 | 손실 | 바닥(정답의 엔트로피) | 남은 차이 |
|---|---|---|---|
| 원-핫 | 0.44 | 0 | 0.44 |
| 레이블 스무딩(ε = 0.1) | 0.59 | 0.349 | 0.241 |
| 선생 모델의 확률 | 0.87 | 0.863 | 0.007 |
바닥은 예측을 정답 막대와 똑같이 맞췄을 때의 손실, 곧 정답의 엔트로피 −Σ y·log y 입니다. 원-핫이 아니면 바닥이 0 보다 큽니다. 그래서 선생 쪽 손실 0.87 이 가장 커 보여도, 바닥과의 차이는 0.007 로 가장 작습니다. 이 예측은 선생과 거의 같습니다. 정답 막대가 다르면 손실 숫자끼리 비교하지 않습니다. 비교할 것은 남은 차이(KL 발산)입니다.
4. 정답 막대가 모델이 가려는 곳을 정한다
softmax 와 교차 엔트로피를 같이 쓰면, 칸 k 의 로짓을 바꿀 때 손실이 변하는 기울기(그래디언트)가 p_k − y_k 로 아주 단순합니다(y 의 합이 1 일 때). 학습은 이 기울기의 반대로 로짓을 옮기므로, p 가 y 보다 작은 칸은 로짓이 오르고, 큰 칸은 내립니다. p = y 가 되면 멈춥니다.
- 원-핫: 정답 칸의 y 가 1 인데 softmax 의 p 는 1 에 닿지 못합니다. 그래서 정답 로짓은 늘 오르라는 말을 듣고, 다른 칸과의 차가 끝없이 벌어집니다. 모델이 지나치게 확신하게 되는 까닭 하나입니다.
- 레이블 스무딩: p₁ 이 0.925 에 닿으면 멈춥니다. 로짓 차가 3.61 쯤에서 더 벌어지지 않습니다. 실험의 곡선에서 가장 작은 곳이 3.92 인 것은 다른 세 칸의 로짓이 1, 0, −1 로 같지 않기 때문입니다.
- 선생 모델의 확률: 학생 모델은 정답 칸뿐 아니라 틀린 칸의 크기까지 선생을 따라갑니다. 개 0.2, 토끼 0.03 처럼 「무엇과 더 헷갈리는가」가 정답에 담깁니다.
해 볼 것. ① 원-핫에서 고양이 로짓을 2 → 6 → 10 으로 올리면 손실이 0.44 → 0.01 → 0(소수 셋째 자리에서 반올림)으로 계속 작아집니다. 곡선에 가장 작은 곳이 없고 「손실이 가장 작은 곳으로」 단추가 꺼집니다. ② 레이블 스무딩(ε = 0.1)을 고르고 단추를 누르면 z₁ = 3.92 로 가고 손실은 0.372, p₁ 은 0.925 입니다. 여기서 6 으로 올리면 0.46, 10 이면 0.75 로 손실이 다시 커집니다. ③ ε 를 0.2, 0.3 으로 올리면 가장 작은 곳이 3.142, 2.644 로 내려옵니다. ε 가 클수록 덜 확신하는 곳에서 멈춥니다. ④ 선생 모델의 확률을 고르면 처음 로짓에서 손실 0.87, 바닥 0.863, 남은 차이 0.007 입니다. 단추를 누르면 z₁ = 2.255 로 가고 예측이 (0.7, 0.2, 0.073, 0.027) 로 선생 막대와 거의 같아집니다.
5. 정답이 여럿일 때: 다중 레이블
사진 한 장에 고양이와 개가 같이 있을 수 있다면, 질문은 「넷 가운데 하나」가 아니라 「고양이가 있나? 개가 있나? …」 네 개입니다. 이것이 다중 레이블 분류입니다. 정답은 칸마다 0 또는 1 인 막대 (1, 1, 0, 0) 이고 합이 1 이 아닙니다. 그래서 칸끼리 몫을 나눠 갖는 softmax 를 쓰지 않고, 칸마다 따로 sigmoid 를 씌워 「있을 확률」을 내고, 칸마다 이진 교차 엔트로피 −[y·log p + (1 − y)·log(1 − p)] 를 더하거나 평균 냅니다.
로짓은 1번 실험의 로짓을 그대로 씁니다. 위에서 고양이 로짓 z₁ 을 움직여 보세요.
해 볼 것. ① 처음 로짓 (2, 1, 0, −1) 에서 softmax 는 합이 1 이고, sigmoid 는 0.881, 0.731, 0.5, 0.269 로 합이 2.381 입니다. 0.5 보다 큰 칸은 고양이와 개이고, 정답 (1, 1, 0, 0) 의 이진 교차 엔트로피는 0.362 입니다. 여우는 로짓이 0 이라 sigmoid 가 딱 0.5 입니다. ② 고양이 로짓을 −1 로 내리면 softmax 의 개는 0.237 → 0.61 로 오르지만 sigmoid 의 개는 0.731 그대로입니다. softmax 에서는 한 칸이 내려가면 다른 칸이 그 몫을 가져가고, sigmoid 에서는 칸끼리 상관이 없습니다. 이진 교차 엔트로피는 0.658 로 커집니다. ③ 5 로 올리면 softmax 의 개는 0.018 로 줄어도 sigmoid 의 개는 여전히 0.731 이고, 손실은 0.332 입니다.
6. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 인덱스 = 원-핫 | 원-핫은 정답 칸 하나만 손실에 남는다. 번호로 줘도 같은 값 | 3절의 0.44 |
| 기울기는 p − y | softmax + 교차 엔트로피에서 로짓은 p 가 y 에 닿을 때까지 움직인다 | 곡선의 가장 작은 곳에서 p₁ = y₁ |
| 원-핫은 끝이 없다 | p 가 1 에 닿지 못해 정답 로짓이 끝없이 커지려 한다. 스무딩은 로짓 차 ln(1 + K·(1 − ε) ÷ ε) 에서 멈춘다 | 4절 해 볼 것 ①, ② |
| 손실의 바닥은 정답의 엔트로피 | 확률 막대 정답이면 손실이 0 이 되지 않는다. 다른 정답끼리는 손실 숫자가 아니라 남은 차이를 비교한다 | 읽기 줄의 「바닥」, 「남은 차이」 |
| 다중 레이블은 칸마다 따로 | sigmoid 는 칸끼리 상관이 없고 합이 1 이 아니다. 정답이 둘이어도, 하나도 없어도 된다 | 5절, sigmoid 합 2.381 |
7. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 클래스 인덱스(원-핫) | 가장 단순하다. 정답을 번호 하나로 저장한다. 손실 함수가 바로 받는다 | 정답 로짓을 끝없이 키우려 해 지나치게 확신하기 쉽다. 레이블이 틀렸어도 그대로 믿는다 | 보통의 「하나 고르기」 분류. 처음에는 이것으로 시작한다 |
| 레이블 스무딩 | 설정 하나로 켠다. 로짓 차가 멈춰 덜 확신한다. 선생 모델 없이 된다 | ε 를 골라야 한다. 틀린 칸들을 모두 똑같이 다뤄 「무엇과 닮았나」는 담지 못한다. 예측 확률이 1 − ε + ε ÷ K 근처에서 멈춘다 | 클래스가 많고 큰 모델을 학습할 때, 확신이 지나쳐 보일 때 |
| 선생 모델의 확률(지식 증류) | 틀린 칸의 크기까지 배워, 무엇과 무엇이 닮았는지가 학생에게 넘어간다 | 잘 학습된 선생 모델이 있어야 하고 그것을 돌리는 비용이 든다. 선생이 틀리면 따라 틀린다. 온도 T 를 골라야 한다 | 큰 모델을 작고 빠른 모델로 줄일 때 |
| 다중 레이블(sigmoid + 이진 교차 엔트로피) | 정답이 여럿이어도, 하나도 없어도 된다. 칸마다 따로 판단한다 | 칸끼리 경쟁하지 않아 「하나만 고르기」 문제에는 맞지 않다. 칸마다 임계값(threshold, 예: 0.5)을 정해야 한다 | 사진 속 물체들, 글의 주제 태그처럼 여러 개가 같이 붙는 일 |
지식 증류에서는 선생과 학생의 로짓을 softmax 앞에서 같은 온도 T 로 나눕니다. T 가 클수록 막대가 고르게 펴져 틀린 칸의 차이가 잘 보입니다. 보통 이 손실에 원래 정답(원-핫)의 손실을 섞어 씁니다(출처의 증류 논문).
어디에 쓰나
- 이미지 분류. 정답은 클래스 번호로 저장하고, 큰 모델에서는 레이블 스무딩을 켜기도 합니다(출처의 Inception 논문).
- 언어 모델의 다음 낱말 고르기. 다음 낱말의 번호가 정답 인덱스이고, K 는 낱말 사전의 크기입니다(트랜스포머, 샘플링).
- 작은 모델 만들기. 큰 모델의 확률을 정답으로 작은 모델을 가르칩니다(지식 증류).
- 태그 달기. 사진이나 글에 해당하는 태그를 모두 붙이는 일은 다중 레이블입니다.
# PyTorch: 로짓을 그대로 넣는다. softmax·sigmoid 는 손실 안에서 한다
import torch.nn as nn
loss = nn.CrossEntropyLoss()
loss(logits, labels) # 정답: 클래스 번호(인덱스)
nn.CrossEntropyLoss(label_smoothing=0.1)(logits, labels) # 레이블 스무딩
loss(logits / T, (teacher_logits / T).softmax(dim=1)) # 지식 증류: 학생과 선생의 로짓을 같은 T 로 나눈다
nn.BCEWithLogitsLoss()(logits, multi_hot.float()) # 다중 레이블: 칸마다 0·1
자주 묻는 것
정답을 원-핫으로 바꿔서 넣어야 하나요?
아닙니다. PyTorch 의 CrossEntropyLoss 는 클래스 번호를 그대로 받고, 원-핫으로 바꿔 넣어도 손실은 같습니다. 번호 쪽이 메모리를 덜 씁니다. 정답을 확률 막대로 줘야 할 때(스무딩을 직접 만들 때, 지식 증류)에만 막대로 넣습니다.
softmax 와 sigmoid 는 언제 갈리나요?
「여러 클래스 가운데 하나」를 고르면 softmax 를, 「클래스마다 있다·없다」를 따로 답하면 sigmoid 를 씁니다. softmax 는 한 칸이 오르면 다른 칸이 내려가고, sigmoid 는 칸끼리 상관이 없습니다. 클래스가 둘뿐이면 softmax 는 두 로짓의 차에 sigmoid 를 씌운 것과 같습니다.
레이블 스무딩과 지식 증류는 무엇이 다른가요?
둘 다 정답을 확률 막대로 줍니다. 레이블 스무딩은 덜어 낸 몫을 모든 칸에 똑같이 나눠서 틀린 칸들 사이에 차이가 없습니다. 지식 증류는 선생 모델이 칸마다 다르게 나눠 주므로 「이 고양이 사진은 토끼보다 개와 더 헷갈린다」 같은 관계가 담깁니다. 대신 선생 모델이 있어야 하고 그것을 돌리는 비용이 듭니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 정답 번호 | 클래스 인덱스(class index), 하드 레이블(hard label) |
| 한 칸만 1 인 막대 | 원-핫 벡터(one-hot vector) |
| 확률 막대로 준 정답 | 소프트 레이블(soft label), 소프트 타깃(soft target) |
| 정답에서 덜어 모든 칸에 나누기 | 레이블 스무딩(label smoothing) |
| 큰 모델의 확률로 작은 모델 가르치기 | 지식 증류(knowledge distillation). 큰 모델은 선생(teacher), 작은 모델은 학생(student) |
| 로짓을 나누는 수 T | 온도(temperature) |
| 넷 가운데 하나 고르기 | 다중 클래스 분류(multi-class classification) |
| 칸마다 있나 없나 | 다중 레이블 분류(multi-label classification). 정답 막대는 멀티-핫(multi-hot) |
| softmax 전의 점수 | 로짓(logit) |
| 손실의 바닥 | 엔트로피(entropy) |
| 남은 차이 | KL 발산(Kullback-Leibler divergence) |
| 칸마다 0·1 의 손실 | 이진 교차 엔트로피(binary cross-entropy, BCE) |
| 지나친 확신 | 과신(overconfidence) |
출처
- Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, Zbigniew Wojna, Rethinking the Inception Architecture for Computer Vision, arXiv:1512.00567. 레이블 스무딩 절: 정답을 고른 분포와 섞는 식, 원-핫이면 가장 큰 점수가 끝없이 커지려 한다는 설명.
- Geoffrey Hinton, Oriol Vinyals, Jeff Dean, Distilling the Knowledge in a Neural Network, arXiv:1503.02531. 선생의 확률(소프트 타깃), 온도 T, 원래 정답의 손실과 섞기.
- PyTorch 문서: CrossEntropyLoss(클래스 번호와 확률 막대 정답,
label_smoothing). - PyTorch 문서: BCEWithLogitsLoss(칸마다 sigmoid 와 이진 교차 엔트로피, 다중 레이블).