클래스 불균형: 가중치와 focal loss
사기 거래는 1,000 건 중 몇 건, 불량품은 수천 개 중 몇 개입니다. 찾고 싶은 쪽이 드물면 모델은 흔한 쪽만 배우고도 점수가 높게 나옵니다. γ 막대를 움직여 쉬운 예의 손실이 얼마나 깎이는지 보고, focal loss 식이 만들어지는 과정을 한 단계씩 넘겨 보세요.
한 줄 답. 한 클래스가 훨씬 많으면 손실의 합을 흔하고 쉬운 예가 차지해 드문 쪽인 소수 클래스(minority class)를 덜 배웁니다. 고치는 법은 넷입니다: 드문 쪽 손실에 가중치(weight)를 더 주기, 드문 쪽을 더 뽑는 오버샘플링(oversampling)이나 흔한 쪽을 덜 뽑는 언더샘플링(undersampling), 쉬운 예의 손실을 깎는 focal loss −α·(1 − p)^γ·log p, 학습은 그대로 두고 판정 기준을 옮기는 임계값 조정(threshold moving). 평가는 정확도 대신 정밀도, 재현율, PR 곡선으로 합니다.
p 는 모델이 정답 클래스에 준 확률입니다. p 가 1 에 가까우면 잘 맞힌 쉬운 예, 0 에 가까우면 틀린 어려운 예입니다. γ 를 막대나 숫자 칸(0 ~ 5)으로 바꾸면 파란 focal loss 곡선만 바뀝니다. 초록 교차 엔트로피는 γ 와 상관없습니다. 손실이 3 보다 큰 곳은 위가 잘려 있습니다. 진짜 모델 없이 식만 그린 작게 줄인 본보기입니다.
해 볼 것. ① 처음 γ = 2 에서 쉬운 예의 손실은 0.105 → 0.00105 로 100 분의 1 이 되고, 어려운 예는 2.3 → 1.87 로 0.81 배입니다. 어려운 예 ÷ 쉬운 예가 21.9 배에서 1,770 배가 됩니다. ② γ 를 0 으로 내리면 두 곡선이 겹칩니다. focal loss 가 교차 엔트로피와 같아집니다. ③ γ = 1 이면 비는 197 배, 쉬운 예 990 개와 어려운 예 10 개의 합에서 어려운 예의 몫은 66.5% 입니다(γ = 0 에서 18.1%, γ = 2 에서 94.7%). ④ γ 를 5 까지 올리면 몫은 100.0% 가 되지만, 어려운 예의 손실도 2.3 에서 1.36 으로 줄어듭니다. γ 가 크면 배울 신호가 전체로 작아집니다.
1. 한 클래스가 훨씬 많으면 생기는 일
클래스 불균형은 답의 종류(클래스) 가운데 하나가 다른 것보다 훨씬 많은 자료입니다. 정상 거래 990 건과 사기 거래 10 건처럼요. 이때 두 가지가 생깁니다.
- 점수가 속입니다. 늘 「정상」이라고만 답하는 모델도 1,000 건 중 990 건을 맞혀 정확도 99% 입니다. 찾고 싶은 사기는 하나도 못 찾습니다.
- 학습이 흔한 쪽으로 기웁니다. 모델은 자료 전체의 손실을 더한 값을 줄이도록 배웁니다(경사 하강법). 흔한 쪽 예가 99 배 많으면, 하나하나의 손실이 작아도 합에서는 흔한 쪽이 이깁니다. 드문 쪽을 틀려도 합은 조금만 커집니다.
손실은 교차 엔트로피 −log p 를 씁니다. p 는 모델이 정답 클래스에 준 확률입니다. 아래 표는 위 실험의 두 예입니다.
| 예 | 정답에 준 확률 p | 교차 엔트로피 −log p |
|---|---|---|
| 쉬운 예(이미 잘 맞힘) | 0.9 | 0.105 |
| 어려운 예(틀림) | 0.1 | 2.3 |
어려운 예 하나가 쉬운 예 하나보다 21.9 배 큽니다. 그런데 쉬운 예가 99 배 많으면 합은 쉬운 쪽이 더 큽니다. 3절에서 숫자로 셉니다.
2. 식이 만들어지는 과정
focal loss 는 교차 엔트로피에 조각 둘을 곱해 만듭니다. 「다음」을 누르면 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각), 그림의 곡선이 그만큼 바뀝니다. 쉬운 예(p = 0.9)와 어려운 예(p = 0.1)는 위 실험과 같고, γ 는 2 로 둡니다.
- 처음:
−log p. 교차 엔트로피입니다. 맞힐수록(p → 1) 0 으로, 틀릴수록(p → 0) 끝없이 커집니다. 쉬운 예도 손실이 0 이 아니라서(0.105), 수가 많으면 합을 차지합니다. - 쉬운 예 깎기:
(1 − p)^γ · (−log p).1 − p는 「얼마나 틀렸나」입니다. 잘 맞힌 예는 0 에 가까워, γ 제곱해 곱하면 손실이 거의 사라집니다. 틀린 예는 1 에 가까워 손실이 거의 그대로입니다. 까닭: 쉬운 예를 많이 깎을수록 어려운 예가 손실의 합을 차지해, 학습이 어려운 예에 모입니다. 논문의 말로 p = 0.9, γ = 2 면 손실이 100 배 작아지고, p 가 0.5 이하면 많아야 4 배 작아집니다. - 클래스 가중치:
α · (1 − p)^γ · (−log p). 소수 클래스의 손실에 α, 흔한 쪽인 다수 클래스(majority class)에 1 − α 를 곱합니다. 그림은 α = 0.75 입니다. 까닭: (1 − p)^γ 는 예가 쉬운지 어려운지만 보고, 어느 클래스인지는 보지 않습니다. 클래스 사이의 가중치는 α 가 맡습니다. 이것만 쓰면(γ = 0) 가중 교차 엔트로피, 곧 클래스 가중치입니다. - 완성:
FL(p_t) = −α_t · (1 − p_t)^γ · log p_t. p 는 양성일 확률이라, 정답이 음성이면 정답에 준 확률은 1 − p 입니다. 이것을 묶어 p_t 로 적으면(양성이면 p, 음성이면 1 − p) 두 클래스가 한 식이 됩니다. α_t 도 양성이면 α, 음성이면 1 − α 입니다. γ = 0, α_t = 1 이면 교차 엔트로피로 돌아갑니다.
해 볼 것. 단계마다 설명 줄의 「어려운 예의 몫」을 보세요. 쉬운 예 990 개와 어려운 예 10 개일 때 ① 18.1% → ② 94.7% → ③ 98.2% 로 오릅니다. ③ 에서 소수 클래스의 어려운 예는 1.4, 다수 클래스의 쉬운 예는 0.000263 입니다.
α 의 값은 직관과 다를 수 있습니다. 논문의 실험에서 γ = 0(교차 엔트로피에 α 만)일 때는 소수 클래스(물체)에 α = 0.75 가 가장 좋았지만, γ = 2 와 같이 쓸 때는 α = 0.25 가 가장 좋았습니다. 논문은 γ 를 키울수록 α 를 조금 줄여야 한다고 적었습니다. γ 와 α 가 서로 얽혀 같이 골라야 합니다. torchvision 의 sigmoid_focal_loss 기본값도 α = 0.25(양성 쪽), γ = 2 입니다.
3. 손으로 풀어 보기: 990 개와 10 개
다수 클래스 990 개는 모델이 이미 잘 맞혀 모두 p = 0.9, 소수 클래스 10 개는 아직 못 맞혀 모두 p = 0.1 이라고 합시다.
- 정확도. 늘 흔한 쪽이라고 답하면
990 ÷ 1000 = 99%. 드문 쪽을 찾은 수는 0. - 교차 엔트로피의 합. 흔한 쪽
990 × 0.105 = 104, 드문 쪽10 × 2.3 = 23. 드문 쪽의 몫은23 ÷ (104 + 23) = 18.1%. - 클래스 가중치(scikit-learn 의 balanced). 가중치 = 전체 수 ÷ (클래스 수 × 그 클래스의 수). 흔한 쪽
1000 ÷ (2 × 990) = 0.505, 드문 쪽1000 ÷ (2 × 10) = 50. 클래스마다 가중치의 합이990 × 0.505 = 500,10 × 50 = 500으로 같아집니다. 손실 합은 흔한 쪽 52.7, 드문 쪽 약 1,151 이라 몫이 95.6%. - focal loss(γ = 2). 흔한 쪽
990 × 0.00105 = 1.04, 드문 쪽10 × 1.87 = 18.7. 몫 94.7%. 여기에 α = 0.75 를 더하면 0.261 과 14 라 98.2%.
| 방법 | 흔한 쪽 990 개의 합 | 드문 쪽 10 개의 합 | 드문 쪽의 몫 |
|---|---|---|---|
| 교차 엔트로피 | 104 | 23 | 18.1% |
| 클래스 가중치(balanced) | 52.7 | 1,151 | 95.6% |
| 교차 엔트로피 + α = 0.75 만 | 26.1 | 17.3 | 39.8% |
| focal loss(γ = 2) | 1.04 | 18.7 | 94.7% |
| focal loss(γ = 2, α = 0.75) | 0.261 | 14 | 98.2% |
가중치는 클래스를 보고 흔한 쪽 전체를 깎고, focal loss 는 쉬운지를 보고 잘 맞힌 예를 깎습니다. 이 예에서는 흔한 쪽이 모두 쉬워서 결과가 비슷하지만, 흔한 쪽에도 어려운 예가 있으면 focal loss 는 그것을 깎지 않습니다.
4. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 어디서 보나 |
|---|---|---|
| γ = 0 이면 교차 엔트로피 | focal loss 는 교차 엔트로피를 넓힌 것이다. γ 가 깎는 정도를 정한다 | 실험 ① 의 γ = 0 |
| 쉬운 예일수록 많이 깎인다 | γ = 2 면 p = 0.9 에서 100 분의 1, p ≤ 0.5 에서는 많아야 4 분의 1 | 실험 ① 의 γ = 2 |
| γ 가 크면 어려운 예도 줄어든다 | p = 0.1 에서 γ = 5 면 2.3 → 1.36. 너무 키우면 배울 신호가 약해진다 | 실험 ① 의 γ = 5 |
| α 는 높이만 바꾼다 | 곡선의 모양은 그대로 두고 클래스 사이의 가중치만 정한다 | 2절 ③ 단계 |
| 가중치와 샘플링은 확률을 부풀린다 | 가중치, 오버샘플링, 언더샘플링으로 배운 모델은 드문 쪽 확률을 실제보다 높게 낸다. 확률 그대로 쓸 일이면 주의한다 | 5절 |
5. 고치는 법 넷
- 클래스 가중치. 소수 클래스의 손실에 더 큰 수를 곱합니다. 자료는 그대로입니다. 3절의 balanced 가 흔한 출발점입니다.
- 오버샘플링·언더샘플링. 드문 쪽 예를 여러 번 넣거나(오버샘플링), 흔한 쪽 예를 일부만 쓰거나(언더샘플링) 해서 훈련 자료의 비율을 맞춥니다. 오버샘플링에는 같은 예를 복사하는 법과, 드문 예와 그 가까운 이웃 사이에 새 예를 지어내는 SMOTE 가 있습니다. 훈련 자료에만 하고, 훈련·시험을 나눈 뒤에 합니다. 먼저 하면 같은 예가 시험 자료에도 들어갑니다(자료 나누기 쪽의 데이터 누수(data leakage)).
- focal loss. 2절. 쉬운 예의 손실을 깎아 어려운 예에 모읍니다.
- 임계값 조정. 학습은 그대로 두고, 「드문 쪽 확률이 0.5 를 넘으면 드문 쪽」의 0.5 를 바꿉니다. 낮추면 드문 쪽을 더 많이 찾고 거짓 경보도 늘어납니다. 임계값은 검증 자료의 PR 곡선을 보고 고릅니다(로지스틱 회귀, ROC 곡선).
# scikit-learn: 클래스 가중치
LogisticRegression(class_weight="balanced")
# PyTorch: 클래스마다 가중치(흔한 쪽, 드문 쪽)
loss_fn = torch.nn.CrossEntropyLoss(weight=torch.tensor([0.505, 50.0]))
# 양성·음성 둘일 때: 양성 손실에 곱할 수. 예: 990 ÷ 10
loss_fn = torch.nn.BCEWithLogitsLoss(pos_weight=torch.tensor([99.0]))
# torchvision: focal loss(기본값 alpha=0.25, gamma=2)
loss = torchvision.ops.sigmoid_focal_loss(logits, targets, alpha=0.25, gamma=2, reduction="mean")
6. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 임계값 조정 | 다시 학습하지 않는다. 확률은 그대로 두고 판정만 바꾼다 | 모델이 드문 쪽을 거의 못 배웠으면 고칠 수 없다. 검증 자료가 있어야 고른다 | 먼저 해 본다. 거짓 경보와 놓침의 값이 다를 때(검사, 사기 찾기) |
| 클래스 가중치 | 한 줄로 켠다. 자료를 늘리거나 버리지 않는다 | 드문 쪽 확률이 부풀려진다. 가중치가 너무 크면 드문 쪽 몇 개에 학습이 흔들린다 | 불균형이 중간쯤이고 손실 함수를 고를 수 있을 때. 대부분의 모델에서 기본으로 해 볼 것 |
| 오버샘플링 | 모델·손실을 바꾸지 않는다. 손실을 못 바꾸는 도구에도 쓴다 | 같은 예를 되풀이해 그 예에 과적합하기 쉽다. 학습 시간이 늘어난다. 확률이 부풀려진다 | 자료가 적고 드문 쪽이 아주 적을 때 |
| 언더샘플링 | 자료가 줄어 학습이 빠르다 | 흔한 쪽 정보를 버린다. 확률이 부풀려진다 | 흔한 쪽이 아주 많아 다 쓰기 벅찰 때 |
| focal loss | 쉬운 예가 많을수록 잘 듣는다. 클래스뿐 아니라 쉬운지 어려운지를 본다 | γ, α 를 같이 맞춰야 한다. 흔한 쪽의 어려운 예는 깎지 않는다 | 쉬운 예가 손실을 차지할 때. 물체를 찾는 객체 탐지(object detection)처럼 배경 후보가 대부분일 때 |
7. 정확도 대신 무엇으로 재나
드문 쪽을 「양성」이라 부르고, 모델이 양성이라고 한 것과 실제를 비교합니다.
| 지표 | 뜻 | 식 |
|---|---|---|
| 재현율 | 실제 양성 가운데 찾은 비율. 놓친 것이 적은가 | 찾은 양성 ÷ 실제 양성 |
| 정밀도 | 양성이라고 한 것 가운데 맞은 비율. 거짓 경보가 적은가 | 찾은 양성 ÷ 양성이라고 한 수 |
| F1 | 정밀도와 재현율을 하나로(조화 평균) | 2 × 정밀도 × 재현율 ÷ (정밀도 + 재현율) |
| PR 곡선, 평균 정밀도 | 임계값을 바꿔 가며 정밀도와 재현율을 잇는다. 임계값 하나에 묶이지 않는다 | 곡선 아래 넓이를 평균 정밀도로 잰다 |
예. 드문 쪽 10 개 중 8 개를 찾고, 흔한 쪽 990 개 중 50 개를 잘못 양성이라고 했습니다. 재현율 8 ÷ 10 = 80.0%, 거짓 양성률 50 ÷ 990 = 5.1% 인데 정밀도는 8 ÷ 58 = 13.8% 입니다. ROC 곡선의 가로축인 거짓 양성률은 분모가 흔한 쪽 전체라 거짓 경보 50 개가 작아 보입니다. 정밀도는 경보 58 개 중 50 개가 거짓이라는 것을 그대로 보여 줍니다. 그래서 불균형이 심하면 ROC 곡선보다 PR 곡선이 더 많은 것을 알려 줍니다(Saito, Rehmsmeier). 시험 자료는 더 뽑거나 덜 뽑지 않고 실제 비율대로 둡니다.
어디에 쓰나
- 사기·이상 거래 찾기. 대부분이 정상인 기록에서 드문 것을 찾습니다.
- 병 검사, 불량품 찾기. 놓치는 값이 커서 재현율을 보고 임계값을 낮춥니다.
- 객체 탐지. 그림 한 장에서 살펴보는 후보 자리 대부분이 배경입니다. focal loss 가 나온 곳입니다.
- 드문 낱말·드문 범주 나누기. 범주 수가 많고 몇몇이 드물면 클래스 가중치를 씁니다.
자주 묻는 것
정확도가 99% 인데 왜 나쁜 모델인가요?
소수 클래스가 1% 뿐이면, 늘 다수 클래스라고만 답해도 정확도가 99% 입니다. 이 모델은 찾고 싶은 드문 예를 하나도 찾지 못합니다(재현율 0). 정확도는 흔한 쪽을 맞힌 수가 거의 전부를 정하므로, 드문 쪽을 따로 보는 정밀도와 재현율, PR 곡선으로 잽니다.
클래스 가중치와 오버샘플링은 무엇이 다른가요?
드문 예 하나를 k 번 넣는 것과 그 예의 손실에 k 를 곱하는 것은 손실의 합으로 보면 같습니다. 다른 점은 이렇습니다. 오버샘플링은 자료가 늘어 한 바퀴인 에폭(epoch)이 길어지고 같은 예를 여러 번 봅니다. 가중치는 자료를 그대로 두고 손실 식만 바꿉니다. 둘 다 모델이 내는 확률을 드문 쪽으로 부풀립니다.
focal loss 는 언제 쓰나요?
이미 잘 맞히는 쉬운 예가 아주 많아 손실의 합을 차지할 때 씁니다. 원 논문은 객체 탐지에서 배경 후보가 대부분인 문제를 풀려고 만들었습니다. γ 와 α 는 같이 맞춰야 합니다. 논문의 실험에서는 γ = 2 일 때 α = 0.25 가 가장 좋았습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 한 클래스가 훨씬 많음 | 클래스 불균형(class imbalance), 불균형 자료(imbalanced data) |
| 흔한 쪽, 드문 쪽 | 다수 클래스(majority class), 소수 클래스(minority class) |
| 클래스마다 손실에 곱하는 수 | 클래스 가중치(class weight), 가중 교차 엔트로피(weighted cross-entropy) |
| 더 뽑기, 덜 뽑기 | 오버샘플링(oversampling), 언더샘플링(undersampling), SMOTE |
| 쉬운 예를 깎는 손실 | focal loss. (1 − p_t)^γ 는 modulating factor, γ 는 focusing parameter |
| 정답 클래스에 준 확률 | p_t |
| 판정 기준 옮기기 | 결정 임계값 조정(threshold moving, threshold tuning) |
| 놓친 것이 적은가, 거짓 경보가 적은가 | 재현율(recall), 정밀도(precision), F1 점수 |
| 정밀도·재현율 곡선과 그 넓이 | PR 곡선(precision-recall curve), 평균 정밀도(average precision) |
| 음성인데 양성이라고 한 비율 | 거짓 양성률(false positive rate) |
출처
- Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár, Focal Loss for Dense Object Detection, arXiv:1708.02002. α 균형 교차 엔트로피(α 는 클래스 빈도의 역수나 검증으로 정함), focal loss 식, γ = 0 이면 교차 엔트로피, p_t = 0.9 에서 100 배, γ = 2 와 α = 0.25, 표 1.
- torchvision 문서: sigmoid_focal_loss(기본값 alpha=0.25, gamma=2, alpha 는 양성 쪽 가중치).
- scikit-learn 문서: compute_class_weight(balanced = n_samples / (n_classes × 클래스별 수)).
- Takaya Saito, Marc Rehmsmeier, The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets, PLOS ONE.