정답 표현: 인덱스, 원-핫, 레이블 스무딩

분류 모델에게 「이 사진은 고양이」라고 알려 주는 방법은 여럿입니다. 번호 하나, 한 칸만 1 인 막대, 조금 덜어 나눠 준 막대, 큰 모델이 낸 확률. 정답 막대를 바꾸면 같은 예측의 손실과 모델이 가려는 곳이 어떻게 달라지는지 직접 움직여 보세요.

한 줄 답. 분류의 정답은 보통 클래스 번호 하나(인덱스)로 주고, 손실 계산에서는 그 칸만 1 인 원-핫 막대와 같은 뜻입니다. 정답을 확률 막대로 줄 수도 있습니다. 정답에서 ε 를 덜어 모든 칸에 나누는 레이블 스무딩 y′ = (1 − ε)·y + ε ÷ K, 큰 모델의 확률을 그대로 정답으로 쓰는 지식 증류입니다. 원-핫이면 모델은 정답 로짓(logit, softmax 전의 점수)을 끝없이 키우려 하고, 확률 막대면 그 막대에 맞춘 곳에서 멈춥니다. 한 자료에 정답이 여럿일 수 있으면(다중 레이블) softmax 대신 클래스마다 sigmoid 와 이진 교차 엔트로피를 씁니다.

위 단추로 정답 막대(초록)를 고릅니다. ε 는 레이블 스무딩일 때만 움직입니다. 고양이 로짓 z₁ 을 바꾸면 예측(파랑)과 아래 곡선의 검은 점이 움직입니다. 다른 세 칸의 로짓은 1, 0, −1 로 고정입니다. 진짜 모델 대신 로짓 네 개로 작게 줄인 본보기입니다. 진짜 학습에서는 자료마다 모든 칸의 로짓이 같이 움직이고, 선생 모델의 확률 (0.7, 0.2, 0.07, 0.03) 은 지어낸 값입니다.

1. 정답을 주는 모양

분류 모델은 클래스마다 로짓 z 를 하나씩 내고, softmax 가 로짓을 합이 1 인 예측 확률 p 로 바꿉니다. 정답 y 와 예측 p 가 얼마나 다른지는 교차 엔트로피로 잽니다: 손실 = −Σ y_k·log p_k (k 는 클래스 번호, K 는 클래스 수). 이 식에서 정답 y 는 칸마다 숫자가 있는 막대입니다. 그 막대를 어떻게 채우느냐가 이 쪽의 주제입니다. 고양이·개·여우·토끼 넷(K = 4) 가운데 고양이 사진이라면 이렇습니다.

모양정답(고양이, 개, 여우, 토끼)칸의 합짝이 되는 손실
클래스 인덱스0 (고양이의 번호)(번호 하나)−log p_정답
원-핫(1, 0, 0, 0)1softmax + 교차 엔트로피. 인덱스와 같은 값
레이블 스무딩(ε = 0.1)(0.925, 0.025, 0.025, 0.025)1softmax + 교차 엔트로피
선생 모델의 확률(지식 증류)(0.7, 0.2, 0.07, 0.03)1softmax + 교차 엔트로피
다중 레이블(고양이와 개가 같이 있다)(1, 1, 0, 0)1 이 아니다칸마다 sigmoid + 이진 교차 엔트로피

원-핫은 정답 칸 말고는 0 이라 손실의 합에서 정답 칸 하나만 남습니다. 그래서 인덱스와 원-핫은 같은 손실이고, 인덱스는 원-핫을 줄여 적은 것입니다. 원-핫, 스무딩, 선생의 확률은 모두 「합이 1 인 확률 막대」라 같은 손실에 넣습니다. 다중 레이블만 질문이 다릅니다. 「넷 가운데 무엇인가」가 아니라 「칸마다 있나 없나」라서 합이 1 일 까닭이 없습니다(5절).

2. 식이 만들어지는 과정: 레이블 스무딩

원-핫 정답에서 출발해 한 조각씩 붙입니다. ε(엡실론)은 덜어 낼 몫, K 는 클래스 수입니다. 실험은 ε = 0.1, K = 4 입니다.

  1. 처음: y. 원-핫. 정답 칸이 1, 나머지가 0 입니다.
  2. 덜어 내기: (1 − ε)·y. 정답 칸이 0.9 가 됩니다. 까닭: 정답을 100% 로 믿지 않게 하려면 정답 칸의 몫을 1 아래로 낮춰야 합니다. 이대로는 합이 0.9 라 확률이 아닙니다.
  3. 나눠 주기: (1 − ε)·y + ε ÷ K. 덜어 낸 0.1 을 네 칸에 0.025 씩 똑같이 나눕니다. 정답 칸도 한 몫을 받습니다. 까닭: 합을 다시 1 로 맞춰야 하고, 어느 틀린 칸이 더 그럴듯한지 모르니 똑같이 나눕니다. 모든 칸이 1 ÷ K 인 균등분포(uniform distribution)를 ε 만큼 섞는 것과 같습니다.
  4. 완성: y′ = (1 − ε)·y + ε ÷ K. y′ = (0.925, 0.025, 0.025, 0.025). 정답 칸은 1 − ε + ε ÷ K 입니다. 이제 손실이 가장 작은 예측은 p = y′ 이고, 그때 정답 칸 로짓과 다른 칸 로짓의 차는 ln(0.925 ÷ 0.025) = ln 37 ≈ 3.61 입니다. 원-핫과 달리 끝이 있습니다.

구현마다 조금 다를 수 있습니다. PyTorch 의 label_smoothing 은 이 식처럼 정답 칸까지 K 칸에 나눕니다. 정답 칸을 빼고 나머지 K − 1 칸에만 나누는 코드도 있으니, 쓰는 도구의 문서를 확인합니다.

해 볼 것. 「다음」을 세 번 누르며 위의 합을 보세요. 1 → 0.9 → 1 로 바뀌고, 정답 칸은 1 → 0.9 → 0.925 가 됩니다. 0.9 가 아니라 0.925 인 것은 정답 칸도 나눠 준 몫 0.025 를 받기 때문입니다.

3. 손으로 풀어 보기

실험의 처음 로짓 z = (2, 1, 0, −1) 로 세 정답의 손실을 냅니다. 로그는 자연로그(ln)입니다.

  1. e^z 와 그 합. e² ≈ 7.389, e¹ ≈ 2.718, e⁰ = 1, e⁻¹ ≈ 0.368. 합 ≈ 11.475, ln 11.475 ≈ 2.44.
  2. 예측. 하나씩 합으로 나누면 p ≈ (0.644, 0.237, 0.087, 0.032).
  3. 칸마다 −log p. −log p_k = 2.44 − z_k 라서 0.44, 1.44, 2.44, 3.44 입니다.
  4. 정답 막대로 무게를 매겨 더하기. 원-핫: 1 × 0.44 = 0.44. 스무딩: 0.925 × 0.44 + 0.025 × (1.44 + 2.44 + 3.44) ≈ 0.407 + 0.183 = 0.59. 선생: 0.7 × 0.44 + 0.2 × 1.44 + 0.07 × 2.44 + 0.03 × 3.44 ≈ 0.308 + 0.288 + 0.171 + 0.103 = 0.87.
정답 막대손실바닥(정답의 엔트로피)남은 차이
원-핫0.4400.44
레이블 스무딩(ε = 0.1)0.590.3490.241
선생 모델의 확률0.870.8630.007

바닥은 예측을 정답 막대와 똑같이 맞췄을 때의 손실, 곧 정답의 엔트로피 −Σ y·log y 입니다. 원-핫이 아니면 바닥이 0 보다 큽니다. 그래서 선생 쪽 손실 0.87 이 가장 커 보여도, 바닥과의 차이는 0.007 로 가장 작습니다. 이 예측은 선생과 거의 같습니다. 정답 막대가 다르면 손실 숫자끼리 비교하지 않습니다. 비교할 것은 남은 차이(KL 발산)입니다.

4. 정답 막대가 모델이 가려는 곳을 정한다

softmax 와 교차 엔트로피를 같이 쓰면, 칸 k 의 로짓을 바꿀 때 손실이 변하는 기울기(그래디언트)가 p_k − y_k 로 아주 단순합니다(y 의 합이 1 일 때). 학습은 이 기울기의 반대로 로짓을 옮기므로, p 가 y 보다 작은 칸은 로짓이 오르고, 큰 칸은 내립니다. p = y 가 되면 멈춥니다.

해 볼 것. ① 원-핫에서 고양이 로짓을 2 → 6 → 10 으로 올리면 손실이 0.44 → 0.01 → 0(소수 셋째 자리에서 반올림)으로 계속 작아집니다. 곡선에 가장 작은 곳이 없고 「손실이 가장 작은 곳으로」 단추가 꺼집니다. ② 레이블 스무딩(ε = 0.1)을 고르고 단추를 누르면 z₁ = 3.92 로 가고 손실은 0.372, p₁ 은 0.925 입니다. 여기서 6 으로 올리면 0.46, 10 이면 0.75 로 손실이 다시 커집니다. ③ ε 를 0.2, 0.3 으로 올리면 가장 작은 곳이 3.142, 2.644 로 내려옵니다. ε 가 클수록 덜 확신하는 곳에서 멈춥니다. ④ 선생 모델의 확률을 고르면 처음 로짓에서 손실 0.87, 바닥 0.863, 남은 차이 0.007 입니다. 단추를 누르면 z₁ = 2.255 로 가고 예측이 (0.7, 0.2, 0.073, 0.027) 로 선생 막대와 거의 같아집니다.

5. 정답이 여럿일 때: 다중 레이블

사진 한 장에 고양이와 개가 같이 있을 수 있다면, 질문은 「넷 가운데 하나」가 아니라 「고양이가 있나? 개가 있나? …」 네 개입니다. 이것이 다중 레이블 분류입니다. 정답은 칸마다 0 또는 1 인 막대 (1, 1, 0, 0) 이고 합이 1 이 아닙니다. 그래서 칸끼리 몫을 나눠 갖는 softmax 를 쓰지 않고, 칸마다 따로 sigmoid 를 씌워 「있을 확률」을 내고, 칸마다 이진 교차 엔트로피 −[y·log p + (1 − y)·log(1 − p)] 를 더하거나 평균 냅니다.

로짓은 1번 실험의 로짓을 그대로 씁니다. 위에서 고양이 로짓 z₁ 을 움직여 보세요.

해 볼 것. ① 처음 로짓 (2, 1, 0, −1) 에서 softmax 는 합이 1 이고, sigmoid 는 0.881, 0.731, 0.5, 0.269 로 합이 2.381 입니다. 0.5 보다 큰 칸은 고양이와 개이고, 정답 (1, 1, 0, 0) 의 이진 교차 엔트로피는 0.362 입니다. 여우는 로짓이 0 이라 sigmoid 가 딱 0.5 입니다. ② 고양이 로짓을 −1 로 내리면 softmax 의 개는 0.237 → 0.61 로 오르지만 sigmoid 의 개는 0.731 그대로입니다. softmax 에서는 한 칸이 내려가면 다른 칸이 그 몫을 가져가고, sigmoid 에서는 칸끼리 상관이 없습니다. 이진 교차 엔트로피는 0.658 로 커집니다. ③ 5 로 올리면 softmax 의 개는 0.018 로 줄어도 sigmoid 의 개는 여전히 0.731 이고, 손실은 0.332 입니다.

6. 꼭 알아야 할 성질

성질쉬운 말실험에서
인덱스 = 원-핫원-핫은 정답 칸 하나만 손실에 남는다. 번호로 줘도 같은 값3절의 0.44
기울기는 p − ysoftmax + 교차 엔트로피에서 로짓은 p 가 y 에 닿을 때까지 움직인다곡선의 가장 작은 곳에서 p₁ = y₁
원-핫은 끝이 없다p 가 1 에 닿지 못해 정답 로짓이 끝없이 커지려 한다. 스무딩은 로짓 차 ln(1 + K·(1 − ε) ÷ ε) 에서 멈춘다4절 해 볼 것 ①, ②
손실의 바닥은 정답의 엔트로피확률 막대 정답이면 손실이 0 이 되지 않는다. 다른 정답끼리는 손실 숫자가 아니라 남은 차이를 비교한다읽기 줄의 「바닥」, 「남은 차이」
다중 레이블은 칸마다 따로sigmoid 는 칸끼리 상관이 없고 합이 1 이 아니다. 정답이 둘이어도, 하나도 없어도 된다5절, sigmoid 합 2.381

7. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
클래스 인덱스(원-핫)가장 단순하다. 정답을 번호 하나로 저장한다. 손실 함수가 바로 받는다정답 로짓을 끝없이 키우려 해 지나치게 확신하기 쉽다. 레이블이 틀렸어도 그대로 믿는다보통의 「하나 고르기」 분류. 처음에는 이것으로 시작한다
레이블 스무딩설정 하나로 켠다. 로짓 차가 멈춰 덜 확신한다. 선생 모델 없이 된다ε 를 골라야 한다. 틀린 칸들을 모두 똑같이 다뤄 「무엇과 닮았나」는 담지 못한다. 예측 확률이 1 − ε + ε ÷ K 근처에서 멈춘다클래스가 많고 큰 모델을 학습할 때, 확신이 지나쳐 보일 때
선생 모델의 확률(지식 증류)틀린 칸의 크기까지 배워, 무엇과 무엇이 닮았는지가 학생에게 넘어간다잘 학습된 선생 모델이 있어야 하고 그것을 돌리는 비용이 든다. 선생이 틀리면 따라 틀린다. 온도 T 를 골라야 한다큰 모델을 작고 빠른 모델로 줄일 때
다중 레이블(sigmoid + 이진 교차 엔트로피)정답이 여럿이어도, 하나도 없어도 된다. 칸마다 따로 판단한다칸끼리 경쟁하지 않아 「하나만 고르기」 문제에는 맞지 않다. 칸마다 임계값(threshold, 예: 0.5)을 정해야 한다사진 속 물체들, 글의 주제 태그처럼 여러 개가 같이 붙는 일

지식 증류에서는 선생과 학생의 로짓을 softmax 앞에서 같은 온도 T 로 나눕니다. T 가 클수록 막대가 고르게 펴져 틀린 칸의 차이가 잘 보입니다. 보통 이 손실에 원래 정답(원-핫)의 손실을 섞어 씁니다(출처의 증류 논문).

어디에 쓰나

# PyTorch: 로짓을 그대로 넣는다. softmax·sigmoid 는 손실 안에서 한다
import torch.nn as nn
loss = nn.CrossEntropyLoss()
loss(logits, labels)                                   # 정답: 클래스 번호(인덱스)
nn.CrossEntropyLoss(label_smoothing=0.1)(logits, labels)   # 레이블 스무딩
loss(logits / T, (teacher_logits / T).softmax(dim=1))  # 지식 증류: 학생과 선생의 로짓을 같은 T 로 나눈다
nn.BCEWithLogitsLoss()(logits, multi_hot.float())      # 다중 레이블: 칸마다 0·1

자주 묻는 것

정답을 원-핫으로 바꿔서 넣어야 하나요?

아닙니다. PyTorch 의 CrossEntropyLoss 는 클래스 번호를 그대로 받고, 원-핫으로 바꿔 넣어도 손실은 같습니다. 번호 쪽이 메모리를 덜 씁니다. 정답을 확률 막대로 줘야 할 때(스무딩을 직접 만들 때, 지식 증류)에만 막대로 넣습니다.

softmax 와 sigmoid 는 언제 갈리나요?

「여러 클래스 가운데 하나」를 고르면 softmax 를, 「클래스마다 있다·없다」를 따로 답하면 sigmoid 를 씁니다. softmax 는 한 칸이 오르면 다른 칸이 내려가고, sigmoid 는 칸끼리 상관이 없습니다. 클래스가 둘뿐이면 softmax 는 두 로짓의 차에 sigmoid 를 씌운 것과 같습니다.

레이블 스무딩과 지식 증류는 무엇이 다른가요?

둘 다 정답을 확률 막대로 줍니다. 레이블 스무딩은 덜어 낸 몫을 모든 칸에 똑같이 나눠서 틀린 칸들 사이에 차이가 없습니다. 지식 증류는 선생 모델이 칸마다 다르게 나눠 주므로 「이 고양이 사진은 토끼보다 개와 더 헷갈린다」 같은 관계가 담깁니다. 대신 선생 모델이 있어야 하고 그것을 돌리는 비용이 듭니다.

낱말

여기서 쓴 말책에서 부르는 말
정답 번호클래스 인덱스(class index), 하드 레이블(hard label)
한 칸만 1 인 막대원-핫 벡터(one-hot vector)
확률 막대로 준 정답소프트 레이블(soft label), 소프트 타깃(soft target)
정답에서 덜어 모든 칸에 나누기레이블 스무딩(label smoothing)
큰 모델의 확률로 작은 모델 가르치기지식 증류(knowledge distillation). 큰 모델은 선생(teacher), 작은 모델은 학생(student)
로짓을 나누는 수 T온도(temperature)
넷 가운데 하나 고르기다중 클래스 분류(multi-class classification)
칸마다 있나 없나다중 레이블 분류(multi-label classification). 정답 막대는 멀티-핫(multi-hot)
softmax 전의 점수로짓(logit)
손실의 바닥엔트로피(entropy)
남은 차이KL 발산(Kullback-Leibler divergence)
칸마다 0·1 의 손실이진 교차 엔트로피(binary cross-entropy, BCE)
지나친 확신과신(overconfidence)

출처

← 배치 크기와 기울기 누적회귀의 손실 →