회귀의 손실: MSE, MAE, Huber

숫자를 맞히는 모델(회귀)은 「얼마나 틀렸나」를 숫자 하나로 재고, 그 숫자를 줄이는 쪽으로 배웁니다. 틀린 정도를 어떻게 재느냐에 따라 모델이 찾는 답이 달라집니다. 튀는 값인 이상치(outlier) 하나를 끌어서 세 손실의 답이 어떻게 갈리는지 보세요.

한 줄 답. MSE(오차 제곱의 평균)는 평균을 찾고, 이상치 하나에 크게 끌려갑니다. MAE(오차 크기의 평균)는 중앙값을 찾아 이상치에 강하지만, 0 에서 꺾이고 기울기의 크기가 늘 같아 학습이 거칩니다. Huber 는 오차가 δ 보다 작으면 제곱, 크면 직선을 써서 둘의 좋은 점을 섞습니다: |e| ≤ δ 이면 ½e², 아니면 δ·(|e| − δ÷2). 기본은 MSE, 이상치가 섞였으면 Huber 나 MAE 입니다.

주황 점(3번 자료)을 위아래로 끌거나 숫자 칸을 고치면 이상치가 옮겨 갑니다(0 ~ 30). 가로줄 셋은 모델이 숫자 하나(상수)만 낼 수 있을 때 세 손실이 고른 답입니다: 초록 실선 MSE, 파랑 긴 점선 MAE, 보라 짧은 점선 Huber. 가로축은 자료의 번호일 뿐 답에 쓰이지 않습니다. 자료는 지어낸 다섯 개(3, 7, 15, 1, 4)입니다. 아래 줄은 각 답에서 이상치가 얼마나 틀렸고 답을 얼마나 세게 끄는지(손실의 기울기, 3절)입니다.

해 볼 것. ① 처음에는 MSE 6, MAE 4, Huber 4.5 입니다. ② 이상치를 30 까지 끌면 MSE 의 답은 9 로 따라 올라가지만 MAE 는 4, Huber 는 4.5 그대로입니다. 이상치가 끄는 힘이 MSE 는 21(오차 그대로), MAE 는 1, Huber 는 2(δ) 입니다. ③ 이상치를 5 로 내리면 셋이 모두 4 가 됩니다. 이상치가 없으면 셋의 답이 가깝습니다. ④ 이상치를 15 로 두고 δ 를 바꿔 보세요. 0.5 이면 4(중앙값과 같다), 5 이면 5, 8 이면 5.75, 9 이상이면 6(평균과 같다)입니다. δ 는 Huber 를 MAE 쪽에서 MSE 쪽으로 옮기는 손잡이입니다.

1. 손실이란: 틀린 정도를 숫자 하나로

회귀는 숫자를 맞히는 일입니다(집값, 배달 시간, 내일 기온). 자료 하나마다 오차 e = 정답 − 예측 이 나옵니다. 손실은 이 오차들을 숫자 하나로 모은 것이고, 학습은 손실이 가장 작아지는 예측을 찾는 일입니다(경사 하강법). 오차를 모으는 방법이 셋입니다.

이름점 하나의 손실모으기
MSEe²(e₁² + … + eₙ²) ÷ n
MAE|e|(|e₁| + … + |eₙ|) ÷ n
Huber|e| ≤ δ 이면 ½e², 아니면 δ·(|e| − δ÷2)점마다 구해 평균

MSE 를 가장 작게 하는 직선을 찾는 것이 최소제곱입니다. 이 쪽은 손실의 모양이 답을 어떻게 바꾸는지만 보려고, 모델이 숫자 하나(상수 c)만 내는 가장 작은 회귀를 씁니다. 직선이나 신경망이어도 점마다 같은 일이 일어납니다.

MSE 를 ½e² 로 쓰기도 합니다. ½ 을 붙이면 기울기가 깔끔하게 e 가 됩니다. 모든 점에 같은 수를 곱하는 것이라 가장 작은 곳(답)은 바뀌지 않습니다. 이 쪽의 「끄는 힘」은 이 ½ 을 붙인 기울기입니다.

2. 식이 만들어지는 과정: Huber 손실

아래 그림의 가로는 오차 e, 위 판은 손실, 아래 판은 손실의 기울기입니다. 기울기는 그 점이 답을 끄는 힘입니다(3절). δ 는 위 실험과 같은 값이고 처음은 2 입니다.

「다음」을 누르면 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 위 실험에서 δ 를 바꾸면 이 그림도 바뀝니다. δ 가 6 보다 크면 이음매가 그림 밖으로 나갑니다.

  1. 오차 제곱: ½e². 0 근처가 평평하고 매끄러워, 답에 가까워질수록 기울기가 줄어 학습의 한 걸음인 스텝(step)이 저절로 작아집니다. 그런데 기울기가 오차 그대로(e)라서, 오차 10 인 점은 오차 1 인 점보다 10 배 세게 끕니다.
  2. 큰 오차는 직선으로: |e| > δ 이면 δ·|e|. 직선은 기울기가 일정해 아무리 먼 점도 δ 보다 세게 끌지 못합니다. 기울기를 δ 로 고른 까닭은 이음매 e = δ 에서 포물선의 기울기가 δ 이기 때문입니다. 기울기는 이어지지만 값이 맞지 않습니다. 이음매에서 포물선은 ½δ², 직선은 δ² 이라 직선이 δ²÷2 만큼 떠 있습니다.
  3. 이음매 맞추기: δ·|e| − δ²÷2 = δ·(|e| − δ÷2). 직선을 δ²÷2 만큼 내리면 이음매에서 값도 맞습니다. 값과 기울기가 모두 이어져 끊기거나 꺾인 곳이 없습니다.
  4. 완성: Huber(e) = ½e² (|e| ≤ δ), δ·(|e| − δ÷2) (|e| > δ). 안쪽은 MSE, 바깥은 기울기 δ 인 직선입니다. 끄는 힘은 오차를 −δ ~ δ 에서 자른 것입니다.

끝의 식은 PyTorch 의 HuberLoss 문서에 적힌 식과 같습니다. 이 손실은 Huber 가 이상치가 섞인 자료에서 가운데 자리를 찾는 방법으로 낸 논문에서 나왔습니다(출처).

해 볼 것. ① 처음(δ = 2)에는 아래 판의 기울기가 곧은 사선이라 오차가 클수록 끝없이 커집니다. ② 「다음」을 누르면 바깥이 주황 직선으로 바뀝니다. 아래 판의 기울기는 ±2 에서 멈추고 이어지지만, 위 판의 이음매에서 직선(4)이 포물선(2)보다 2 만큼 떠 있습니다. ③ 한 번 더 누르면 직선이 2 만큼 내려와 이음매(값 2, 기울기 2)에서 맞물립니다. ④ 위 실험에서 δ 를 1 로 바꾸고 ② 단계로 가면 뜬 폭이 0.5(1² ÷ 2)가 됩니다.

3. MSE 는 평균을, MAE 는 중앙값을 찾는다

손실이 가장 작은 곳은 기울기가 0 인 곳입니다. 점마다 답을 자기 쪽으로 끈다고 생각하면, 그곳은 끄는 힘이 서로 맞서 합이 0 이 되는 곳입니다. 점이 끄는 힘이 곧 그 점의 손실의 기울기입니다.

손으로 풀어 보기: 자료 3, 7, 15, 1, 4

  1. MSE. 평균 (3 + 7 + 15 + 1 + 4) ÷ 5 = 30 ÷ 5 = 6.
  2. MAE. 늘어놓으면 1, 3, 4, 7, 15. 가운데(셋째)는 4.
  3. Huber(δ = 2). c 가 4 와 5 사이라고 놓으면, δ 안쪽에 드는 점은 3 과 4 뿐입니다. 7, 15 는 +2, 1 은 −2 로 잘립니다. 힘의 합은 (3 − c) + (4 − c) + 2 + 2 − 2 = 9 − 2c 이고, 0 이 되는 c = 4.5 입니다.
  4. 이상치 15 를 30 으로. 평균은 45 ÷ 5 = 9 로 3 만큼 올라갑니다. 중앙값은 1, 3, 4, 7, 30 의 가운데라 4 그대로입니다. Huber 도 15 와 30 이 모두 δ 바깥이라 힘이 똑같이 2 여서 4.5 그대로입니다.
yMSE 의 힘: y − 6MAE 의 힘: y − 4 의 부호Huber 의 힘: y − 4.5 를 ±2 에서 자름
3−3−1−1.5
7112 (2.5 를 자름)
15912 (10.5 를 자름)
1−5−1−2 (−3.5 를 자름)
4−20−0.5
합000

MSE 에서는 이상치 15 하나가 +9 로 끌고, 나머지 넷이 모두 아래로 끌어야(−3 + 1 − 5 − 2 = −9) 맞섭니다. 그래서 답이 중앙값보다 2 나 위에 섭니다.

4. 꼭 알아야 할 성질

성질MSEMAEHuber
숫자 하나로 맞추면평균중앙값δ 가 작으면 중앙값 쪽, 크면 평균 쪽
끄는 힘(기울기)오차에 비례. 끝이 없다늘 같은 크기(부호만)오차에 비례하다가 δ 에서 멈춘다
이상치가 더 멀어지면답이 따라간다(1 멀어지면 1÷n 만큼)답이 그대로δ 바깥에 있는 한 답이 그대로
0 근처매끄럽다꺾인다매끄럽다
오차를 어떤 모양으로 보나정규분포를 따른다고 볼 때 가장 그럴듯한 답라플라스 분포를 따른다고 볼 때 가장 그럴듯한 답가운데는 정규, 꼬리는 라플라스를 닮은 모양

학습에서의 차이. MSE 의 기울기는 답에 가까울수록 작아져 스텝이 저절로 줄어듭니다. 대신 오차가 큰 점이 있으면 기울기가 크게 튑니다. MAE 는 기울기 크기가 늘 같아, 학습률을 그대로 두면 답 근처에서 오가며 멈추지 못합니다. 학습률을 줄여 가야 합니다(경사 하강법). Huber 는 작은 오차에서 MSE 처럼, 큰 오차에서 MAE 처럼 움직입니다. 또 MAE 는 자료 수가 짝수면 가운데 두 값 사이가 모두 답이라 답이 하나로 정해지지 않습니다.

5. δ 고르기

δ 는 「여기까지는 보통 오차, 이보다 크면 이상치로 본다」는 경계입니다. 오차와 같은 단위입니다(집값을 만 원으로 적으면 δ 도 만 원).

6. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
MSE매끄럽고, 답 근처에서 기울기가 줄어 학습이 안정하다. 평균을 맞춘다. 직선이면 식 한 번으로 풀린다(최소제곱)이상치 하나에 끌려간다. 큰 오차를 제곱으로 키워 기울기가 튈 수 있다오차가 고르게 작고 이상치가 드물 때. 큰 실수를 특히 피하고 싶을 때. 기본값
MAE이상치에 강하다. 중앙값을 맞춘다. 단위가 자료와 같아 「평균 몇 만큼 틀리나」로 읽힌다0 에서 꺾인다. 기울기 크기가 늘 같아 학습률을 줄여 가야 한다. 답이 하나로 안 정해질 때가 있다이상치가 진짜 자료라 뺄 수 없을 때. 중앙값을 맞추고 싶을 때. 평가 지표
Huber작은 오차는 MSE 처럼 매끄럽고, 큰 오차의 힘은 δ 에서 멈춘다δ 를 골라야 한다. δ 는 오차의 단위라 자료의 눈금이 바뀌면 다시 골라야 한다대부분은 고르지만 가끔 크게 틀린 값이 섞인 자료. 기울기가 갑자기 커지는 것을 막고 싶을 때

이상치가 측정 실수라면 손실을 바꾸기 전에 그 값을 고치거나 빼는 것이 먼저입니다. 손실은 「진짜지만 드문 값」을 얼마나 믿을지를 정하는 도구입니다.

어디에 쓰나

자주 묻는 것

MSE 와 RMSE 는 무엇이 다른가요?

RMSE 는 MSE 의 제곱근입니다. 제곱근을 내도 가장 작은 곳은 같아서 학습으로 찾는 답은 같습니다. 단위가 자료와 같아져(원이면 원) 보고할 때 읽기 쉽습니다. MAE 와 단위는 같지만, 큰 오차에 더 무게를 둡니다.

MAE 는 0 에서 꺾이는데 어떻게 경사 하강법을 쓰나요?

꺾인 곳 하나에서는 기울기를 −1 과 1 사이의 한 값으로 정해 두고 씁니다. 오차가 정확히 0 인 일은 드물어 큰 문제가 아닙니다. 더 큰 문제는 기울기의 크기가 늘 1 이라 답 근처에서도 스텝이 줄지 않는 것입니다. 학습률을 줄여 가거나 Huber 를 씁니다.

Huber 와 Smooth L1 은 같은 것인가요?

거의 같습니다. PyTorch 문서로는 Smooth L1 이 Huber 를 δ 로 나눈 것이고(Smooth L1 은 δ 를 beta 라고 부릅니다), δ = 1 이면 둘이 같습니다. 직선 부분의 기울기가 Huber 는 δ, Smooth L1 은 늘 1 입니다.

낱말

여기서 쓴 말책에서 부르는 말
틀린 정도를 숫자 하나로손실 함수(loss function), 비용 함수(cost function)
오차 e = 정답 − 예측잔차(residual), 오차(error)
오차 제곱의 평균평균 제곱 오차(mean squared error, MSE), L2 손실
오차 크기의 평균평균 절대 오차(mean absolute error, MAE), L1 손실
제곱과 직선을 이은 손실후버 손실(Huber loss). 거의 같은 것: Smooth L1
이음매 δ문턱값(threshold), delta. PyTorch 의 Smooth L1 에서는 beta
점이 답을 끄는 힘손실의 기울기(gradient, derivative). 통계에서는 ψ 함수(psi function)
꺾인 곳의 기울기 대신 쓰는 값서브그래디언트(subgradient)
이상치에 덜 흔들림강건함, 로버스트(robust)
멀리 떨어진 값이상치(outlier)
가운데 값중앙값(median)
제곱 오차를 가장 작게 하는 직선최소제곱(least squares)
제곱근을 낸 MSERMSE(root mean squared error)

출처

← 정답 표현클래스 불균형 →