회귀의 손실: MSE, MAE, Huber
숫자를 맞히는 모델(회귀)은 「얼마나 틀렸나」를 숫자 하나로 재고, 그 숫자를 줄이는 쪽으로 배웁니다. 틀린 정도를 어떻게 재느냐에 따라 모델이 찾는 답이 달라집니다. 튀는 값인 이상치(outlier) 하나를 끌어서 세 손실의 답이 어떻게 갈리는지 보세요.
한 줄 답. MSE(오차 제곱의 평균)는 평균을 찾고, 이상치 하나에 크게 끌려갑니다. MAE(오차 크기의 평균)는 중앙값을 찾아 이상치에 강하지만, 0 에서 꺾이고 기울기의 크기가 늘 같아 학습이 거칩니다. Huber 는 오차가 δ 보다 작으면 제곱, 크면 직선을 써서 둘의 좋은 점을 섞습니다: |e| ≤ δ 이면 ½e², 아니면 δ·(|e| − δ÷2). 기본은 MSE, 이상치가 섞였으면 Huber 나 MAE 입니다.
주황 점(3번 자료)을 위아래로 끌거나 숫자 칸을 고치면 이상치가 옮겨 갑니다(0 ~ 30). 가로줄 셋은 모델이 숫자 하나(상수)만 낼 수 있을 때 세 손실이 고른 답입니다: 초록 실선 MSE, 파랑 긴 점선 MAE, 보라 짧은 점선 Huber. 가로축은 자료의 번호일 뿐 답에 쓰이지 않습니다. 자료는 지어낸 다섯 개(3, 7, 15, 1, 4)입니다. 아래 줄은 각 답에서 이상치가 얼마나 틀렸고 답을 얼마나 세게 끄는지(손실의 기울기, 3절)입니다.
해 볼 것. ① 처음에는 MSE 6, MAE 4, Huber 4.5 입니다. ② 이상치를 30 까지 끌면 MSE 의 답은 9 로 따라 올라가지만 MAE 는 4, Huber 는 4.5 그대로입니다. 이상치가 끄는 힘이 MSE 는 21(오차 그대로), MAE 는 1, Huber 는 2(δ) 입니다. ③ 이상치를 5 로 내리면 셋이 모두 4 가 됩니다. 이상치가 없으면 셋의 답이 가깝습니다. ④ 이상치를 15 로 두고 δ 를 바꿔 보세요. 0.5 이면 4(중앙값과 같다), 5 이면 5, 8 이면 5.75, 9 이상이면 6(평균과 같다)입니다. δ 는 Huber 를 MAE 쪽에서 MSE 쪽으로 옮기는 손잡이입니다.
1. 손실이란: 틀린 정도를 숫자 하나로
회귀는 숫자를 맞히는 일입니다(집값, 배달 시간, 내일 기온). 자료 하나마다 오차 e = 정답 − 예측 이 나옵니다. 손실은 이 오차들을 숫자 하나로 모은 것이고, 학습은 손실이 가장 작아지는 예측을 찾는 일입니다(경사 하강법). 오차를 모으는 방법이 셋입니다.
| 이름 | 점 하나의 손실 | 모으기 |
|---|---|---|
| MSE | e² | (e₁² + … + eₙ²) ÷ n |
| MAE | |e| | (|e₁| + … + |eₙ|) ÷ n |
| Huber | |e| ≤ δ 이면 ½e², 아니면 δ·(|e| − δ÷2) | 점마다 구해 평균 |
MSE 를 가장 작게 하는 직선을 찾는 것이 최소제곱입니다. 이 쪽은 손실의 모양이 답을 어떻게 바꾸는지만 보려고, 모델이 숫자 하나(상수 c)만 내는 가장 작은 회귀를 씁니다. 직선이나 신경망이어도 점마다 같은 일이 일어납니다.
MSE 를 ½e² 로 쓰기도 합니다. ½ 을 붙이면 기울기가 깔끔하게 e 가 됩니다. 모든 점에 같은 수를 곱하는 것이라 가장 작은 곳(답)은 바뀌지 않습니다. 이 쪽의 「끄는 힘」은 이 ½ 을 붙인 기울기입니다.
2. 식이 만들어지는 과정: Huber 손실
아래 그림의 가로는 오차 e, 위 판은 손실, 아래 판은 손실의 기울기입니다. 기울기는 그 점이 답을 끄는 힘입니다(3절). δ 는 위 실험과 같은 값이고 처음은 2 입니다.
「다음」을 누르면 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 위 실험에서 δ 를 바꾸면 이 그림도 바뀝니다. δ 가 6 보다 크면 이음매가 그림 밖으로 나갑니다.
- 오차 제곱:
½e². 0 근처가 평평하고 매끄러워, 답에 가까워질수록 기울기가 줄어 학습의 한 걸음인 스텝(step)이 저절로 작아집니다. 그런데 기울기가 오차 그대로(e)라서, 오차 10 인 점은 오차 1 인 점보다 10 배 세게 끕니다. - 큰 오차는 직선으로:
|e| > δ 이면 δ·|e|. 직선은 기울기가 일정해 아무리 먼 점도 δ 보다 세게 끌지 못합니다. 기울기를 δ 로 고른 까닭은 이음매e = δ에서 포물선의 기울기가 δ 이기 때문입니다. 기울기는 이어지지만 값이 맞지 않습니다. 이음매에서 포물선은½δ², 직선은δ²이라 직선이δ²÷2만큼 떠 있습니다. - 이음매 맞추기:
δ·|e| − δ²÷2 = δ·(|e| − δ÷2). 직선을 δ²÷2 만큼 내리면 이음매에서 값도 맞습니다. 값과 기울기가 모두 이어져 끊기거나 꺾인 곳이 없습니다. - 완성:
Huber(e) = ½e² (|e| ≤ δ), δ·(|e| − δ÷2) (|e| > δ). 안쪽은 MSE, 바깥은 기울기 δ 인 직선입니다. 끄는 힘은 오차를 −δ ~ δ 에서 자른 것입니다.
끝의 식은 PyTorch 의 HuberLoss 문서에 적힌 식과 같습니다. 이 손실은 Huber 가 이상치가 섞인 자료에서 가운데 자리를 찾는 방법으로 낸 논문에서 나왔습니다(출처).
해 볼 것. ① 처음(δ = 2)에는 아래 판의 기울기가 곧은 사선이라 오차가 클수록 끝없이 커집니다. ② 「다음」을 누르면 바깥이 주황 직선으로 바뀝니다. 아래 판의 기울기는 ±2 에서 멈추고 이어지지만, 위 판의 이음매에서 직선(4)이 포물선(2)보다 2 만큼 떠 있습니다. ③ 한 번 더 누르면 직선이 2 만큼 내려와 이음매(값 2, 기울기 2)에서 맞물립니다. ④ 위 실험에서 δ 를 1 로 바꾸고 ② 단계로 가면 뜬 폭이 0.5(1² ÷ 2)가 됩니다.
3. MSE 는 평균을, MAE 는 중앙값을 찾는다
손실이 가장 작은 곳은 기울기가 0 인 곳입니다. 점마다 답을 자기 쪽으로 끈다고 생각하면, 그곳은 끄는 힘이 서로 맞서 합이 0 이 되는 곳입니다. 점이 끄는 힘이 곧 그 점의 손실의 기울기입니다.
- MSE(½e²): 힘 = 오차 e.
(y₁ − c) + … + (yₙ − c) = 0이면c = (y₁ + … + yₙ) ÷ n, 곧 평균입니다. 멀리 있는 점일수록 세게 끕니다. - MAE(|e|): 힘 = 부호(위면 +1, 아래면 −1). 위에 있는 점과 아래에 있는 점의 수가 같아야 합이 0, 곧 중앙값입니다. 멀든 가깝든 힘이 1 이라 거리를 보지 않습니다.
- Huber: 힘 = 오차를 −δ ~ δ 에서 자른 것. 가까운 점은 거리만큼, 먼 점은 δ 만큼만 끕니다. δ 가 작으면 중앙값에, 크면 평균에 가까워집니다.
손으로 풀어 보기: 자료 3, 7, 15, 1, 4
- MSE. 평균
(3 + 7 + 15 + 1 + 4) ÷ 5 = 30 ÷ 5 = 6. - MAE. 늘어놓으면 1, 3, 4, 7, 15. 가운데(셋째)는 4.
- Huber(δ = 2). c 가 4 와 5 사이라고 놓으면, δ 안쪽에 드는 점은 3 과 4 뿐입니다. 7, 15 는 +2, 1 은 −2 로 잘립니다. 힘의 합은
(3 − c) + (4 − c) + 2 + 2 − 2 = 9 − 2c이고, 0 이 되는c = 4.5입니다. - 이상치 15 를 30 으로. 평균은
45 ÷ 5 = 9로 3 만큼 올라갑니다. 중앙값은 1, 3, 4, 7, 30 의 가운데라 4 그대로입니다. Huber 도 15 와 30 이 모두 δ 바깥이라 힘이 똑같이 2 여서 4.5 그대로입니다.
| y | MSE 의 힘: y − 6 | MAE 의 힘: y − 4 의 부호 | Huber 의 힘: y − 4.5 를 ±2 에서 자름 |
|---|---|---|---|
| 3 | −3 | −1 | −1.5 |
| 7 | 1 | 1 | 2 (2.5 를 자름) |
| 15 | 9 | 1 | 2 (10.5 를 자름) |
| 1 | −5 | −1 | −2 (−3.5 를 자름) |
| 4 | −2 | 0 | −0.5 |
| 합 | 0 | 0 | 0 |
MSE 에서는 이상치 15 하나가 +9 로 끌고, 나머지 넷이 모두 아래로 끌어야(−3 + 1 − 5 − 2 = −9) 맞섭니다. 그래서 답이 중앙값보다 2 나 위에 섭니다.
4. 꼭 알아야 할 성질
| 성질 | MSE | MAE | Huber |
|---|---|---|---|
| 숫자 하나로 맞추면 | 평균 | 중앙값 | δ 가 작으면 중앙값 쪽, 크면 평균 쪽 |
| 끄는 힘(기울기) | 오차에 비례. 끝이 없다 | 늘 같은 크기(부호만) | 오차에 비례하다가 δ 에서 멈춘다 |
| 이상치가 더 멀어지면 | 답이 따라간다(1 멀어지면 1÷n 만큼) | 답이 그대로 | δ 바깥에 있는 한 답이 그대로 |
| 0 근처 | 매끄럽다 | 꺾인다 | 매끄럽다 |
| 오차를 어떤 모양으로 보나 | 정규분포를 따른다고 볼 때 가장 그럴듯한 답 | 라플라스 분포를 따른다고 볼 때 가장 그럴듯한 답 | 가운데는 정규, 꼬리는 라플라스를 닮은 모양 |
학습에서의 차이. MSE 의 기울기는 답에 가까울수록 작아져 스텝이 저절로 줄어듭니다. 대신 오차가 큰 점이 있으면 기울기가 크게 튑니다. MAE 는 기울기 크기가 늘 같아, 학습률을 그대로 두면 답 근처에서 오가며 멈추지 못합니다. 학습률을 줄여 가야 합니다(경사 하강법). Huber 는 작은 오차에서 MSE 처럼, 큰 오차에서 MAE 처럼 움직입니다. 또 MAE 는 자료 수가 짝수면 가운데 두 값 사이가 모두 답이라 답이 하나로 정해지지 않습니다.
5. δ 고르기
δ 는 「여기까지는 보통 오차, 이보다 크면 이상치로 본다」는 경계입니다. 오차와 같은 단위입니다(집값을 만 원으로 적으면 δ 도 만 원).
- δ 가 아주 작으면 거의 모든 점이 바깥이라 손실이 MAE 를 δ 배 한 것과 비슷해지고, 답이 중앙값 쪽으로 갑니다. 실험에서 δ = 0.5 이면 4 입니다.
- δ 가 아주 크면 모든 점이 안쪽이라 ½e², 곧 MSE 의 절반과 같아지고, 답이 평균입니다. 실험에서 δ 가 9 이상이면 정확히 6 입니다. 평균 6 에서 가장 먼 점(15)의 오차가 9 이기 때문입니다.
- 보통 오차의 크기쯤으로 둡니다. 목표값을 표준화해 두면 δ 를 「표준편차 몇 개」로 읽을 수 있습니다. PyTorch 의 HuberLoss 는 기본값이 δ = 1 입니다. 맞는 값은 자료마다 달라서, 검증 자료로 몇 개를 비교해 보고 고릅니다.
6. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| MSE | 매끄럽고, 답 근처에서 기울기가 줄어 학습이 안정하다. 평균을 맞춘다. 직선이면 식 한 번으로 풀린다(최소제곱) | 이상치 하나에 끌려간다. 큰 오차를 제곱으로 키워 기울기가 튈 수 있다 | 오차가 고르게 작고 이상치가 드물 때. 큰 실수를 특히 피하고 싶을 때. 기본값 |
| MAE | 이상치에 강하다. 중앙값을 맞춘다. 단위가 자료와 같아 「평균 몇 만큼 틀리나」로 읽힌다 | 0 에서 꺾인다. 기울기 크기가 늘 같아 학습률을 줄여 가야 한다. 답이 하나로 안 정해질 때가 있다 | 이상치가 진짜 자료라 뺄 수 없을 때. 중앙값을 맞추고 싶을 때. 평가 지표 |
| Huber | 작은 오차는 MSE 처럼 매끄럽고, 큰 오차의 힘은 δ 에서 멈춘다 | δ 를 골라야 한다. δ 는 오차의 단위라 자료의 눈금이 바뀌면 다시 골라야 한다 | 대부분은 고르지만 가끔 크게 틀린 값이 섞인 자료. 기울기가 갑자기 커지는 것을 막고 싶을 때 |
이상치가 측정 실수라면 손실을 바꾸기 전에 그 값을 고치거나 빼는 것이 먼저입니다. 손실은 「진짜지만 드문 값」을 얼마나 믿을지를 정하는 도구입니다.
어디에 쓰나
- 기본 회귀. 집값, 수요처럼 오차가 고르게 퍼진 숫자를 맞힐 때는 MSE 로 시작합니다. 신경망의 마지막 층이 숫자 하나를 낼 때도 같습니다.
- 가끔 크게 틀리는 자료. 센서가 가끔 엉뚱한 값을 내거나 배달이 가끔 크게 늦는 자료는 Huber 나 MAE 로 이상치의 힘을 줄입니다.
- 물체의 바운딩 박스(bounding box) 위치 맞추기. PyTorch 문서는 Smooth L1(Huber 와 거의 같다)이 기울기가 갑자기 커지는 것을 막는 예로 Fast R-CNN 논문을 듭니다.
- 평가 지표. 「평균 몇 만큼 틀리나」를 말할 때 MAE 를, 큰 오차에 무게를 둘 때 RMSE 를 보고합니다. 학습에 쓴 손실과 보고하는 지표가 달라도 됩니다.
자주 묻는 것
MSE 와 RMSE 는 무엇이 다른가요?
RMSE 는 MSE 의 제곱근입니다. 제곱근을 내도 가장 작은 곳은 같아서 학습으로 찾는 답은 같습니다. 단위가 자료와 같아져(원이면 원) 보고할 때 읽기 쉽습니다. MAE 와 단위는 같지만, 큰 오차에 더 무게를 둡니다.
MAE 는 0 에서 꺾이는데 어떻게 경사 하강법을 쓰나요?
꺾인 곳 하나에서는 기울기를 −1 과 1 사이의 한 값으로 정해 두고 씁니다. 오차가 정확히 0 인 일은 드물어 큰 문제가 아닙니다. 더 큰 문제는 기울기의 크기가 늘 1 이라 답 근처에서도 스텝이 줄지 않는 것입니다. 학습률을 줄여 가거나 Huber 를 씁니다.
Huber 와 Smooth L1 은 같은 것인가요?
거의 같습니다. PyTorch 문서로는 Smooth L1 이 Huber 를 δ 로 나눈 것이고(Smooth L1 은 δ 를 beta 라고 부릅니다), δ = 1 이면 둘이 같습니다. 직선 부분의 기울기가 Huber 는 δ, Smooth L1 은 늘 1 입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 틀린 정도를 숫자 하나로 | 손실 함수(loss function), 비용 함수(cost function) |
| 오차 e = 정답 − 예측 | 잔차(residual), 오차(error) |
| 오차 제곱의 평균 | 평균 제곱 오차(mean squared error, MSE), L2 손실 |
| 오차 크기의 평균 | 평균 절대 오차(mean absolute error, MAE), L1 손실 |
| 제곱과 직선을 이은 손실 | 후버 손실(Huber loss). 거의 같은 것: Smooth L1 |
| 이음매 δ | 문턱값(threshold), delta. PyTorch 의 Smooth L1 에서는 beta |
| 점이 답을 끄는 힘 | 손실의 기울기(gradient, derivative). 통계에서는 ψ 함수(psi function) |
| 꺾인 곳의 기울기 대신 쓰는 값 | 서브그래디언트(subgradient) |
| 이상치에 덜 흔들림 | 강건함, 로버스트(robust) |
| 멀리 떨어진 값 | 이상치(outlier) |
| 가운데 값 | 중앙값(median) |
| 제곱 오차를 가장 작게 하는 직선 | 최소제곱(least squares) |
| 제곱근을 낸 MSE | RMSE(root mean squared error) |
출처
- Peter J. Huber, Robust Estimation of a Location Parameter, The Annals of Mathematical Statistics. 이상치가 섞인 자료에서 가운데 자리를 찾는 방법으로 Huber 손실을 낸 논문.
- PyTorch 문서: HuberLoss(식, δ 기본값 1, Smooth L1 과의 관계), SmoothL1Loss(Huber ÷ beta, 직선 기울기 1, Fast R-CNN 예).
- PyTorch 문서: MSELoss, L1Loss.