가중치 감쇠와 L1·L2 규제

모델이 훈련 자료를 외우면 가중치가 커지는 일이 많습니다. 그래서 손실에 「가중치가 크면 벌점」을 더합니다. 벌점을 원(L2)으로 줄 때와 마름모(L1)로 줄 때 최솟점이 어디로 가는지 보고, 그 벌점이 학습의 한 걸음인 스텝(step)에서 「가중치를 일정한 비율로 줄이기」가 되는 과정을 따라가 보세요.

한 줄 답. 규제는 손실에 가중치 크기의 벌점을 더하는 것입니다. 제곱의 합을 쓰면 L2, 모든 가중치를 함께 작게 만들지만 0 으로는 만들지 않습니다. 절댓값의 합을 쓰면 L1, 몇 개를 정확히 0 으로 만듭니다. L2 벌점을 넣고 경사 하강법으로 걸으면 스텝마다 w ← (1 − ηλ)w − η∇L, 곧 가중치가 일정한 비율로 줄어서 가중치 감쇠라고 부릅니다. Adam 에서는 이 둘이 달라져서 줄이기를 따로 하는 AdamW 를 씁니다.

자료 손실 ½(w₁ − 3)² + (w₂ − 1)² 에 벌점을 더합니다. 가중치 둘만 있는 작게 줄인 본보기입니다.

보라 타원은 벌점 없이 자료만 본 손실의 등고선이고, 굵은 것이 지금 최솟점을 지납니다. 초록 원이나 마름모는 최솟점과 벌점이 같은 점들(제약 영역, constraint region)입니다. 주황 점은 자료만 볼 때의 최솟점 w*, 검은 점은 벌점까지 더한 최솟점, 파란 점선은 λ 를 0 에서 4 로 키울 때 검은 점이 지나는 길입니다. 진짜 모델은 가중치가 수백만 개이고 손실이 이렇게 반듯한 그릇이 아니지만, 최솟점 가까이에서는 그릇으로 어림해 생각합니다.

1. 벌점을 더한다는 것

학습은 손실 L(w)(틀린 정도)이 가장 작은 가중치 w 를 찾는 일입니다. 규제는 여기에 가중치가 클수록 커지는 벌점을 더해, 손실과 벌점의 합이 가장 작은 곳을 찾게 합니다.

L2: 전체 손실 = L(w) + λ × ½(w₁² + w₂² + …)
L1: 전체 손실 = L(w) + λ × (|w₁| + |w₂| + …)

λ(람다)는 벌점의 세기입니다. 0 이면 벌점이 없고, 클수록 가중치를 0 쪽으로 세게 누릅니다. L2 의 ½ 은 미분하면 2 가 지워지게 붙인 것이라 λ 의 눈금만 바꿉니다(과적합 쪽의 식은 ½ 이 없습니다). 왜 가중치가 크면 외우기 쉬운지, 다항식 곡선에서 λ 를 올리면 시험 오차가 어떻게 되는지는 과적합 쪽에서 봤으니, 이 쪽은 벌점의 모양, 학습의 한 스텝, Adam 과의 관계를 봅니다.

2. 원과 마름모: L1 만 0 을 만드는 까닭

벌점이 같은 점들을 이으면 L2 는 원점이 가운데인 원, L1 은 꼭짓점이 축 위에 있는 마름모가 됩니다. 「손실 + λ × 벌점」을 가장 작게 하는 것은, 「벌점이 이 제약 영역 안」이라는 조건 아래 손실을 가장 작게 하는 것과 같은 답을 냅니다. 그래서 최솟점은 자료 손실의 등고선이 제약 영역에 바깥에서 처음 닿는 점입니다. λ 가 클수록 제약 영역이 작아집니다.

해 볼 것. ① 처음(L2, λ = 1)의 최솟점은 (1.5, 0.67) 입니다. λ 를 0 으로 내리면 자료만 볼 때의 (3, 1), 끝(4)까지 올리면 (0.6, 0.33) 입니다. 0 이 되는 가중치는 끝까지 없습니다. ② L1 로 바꾸면 λ = 1 에서 (2, 0.5) 이고, λ = 2 에서 w₂ 가 정확히 0 이 되어 (1, 0) 입니다. 검은 점이 마름모의 꼭짓점에 있고, 파란 길이 그때부터 가로축을 따라갑니다. λ = 3 부터는 (0, 0) 입니다. ③ L2 에서 λ = 2 로 두면 (1, 0.5) 입니다. w₁ 은 3 에서 1 로 1/3 이 되고, w₂ 는 1 에서 0.5 로 1/2 이 됩니다. 손실이 덜 굽은 축, 곧 자료가 덜 아끼는 가중치를 더 많이 줄입니다.

3. 식이 만들어지는 과정: 스텝마다 일정한 비율로 줄이기

이제 L2 벌점을 넣고 경사 하강법으로 걸으면 한 스텝이 어떻게 되는지 봅니다. 가중치 둘을 같이 봅니다. A 는 자료가 3 을 원하는 가중치(자료 손실 ½(w − 3)², 기울기 w − 3)이고, B 는 자료가 쓰지 않는 가중치(기울기 0)입니다. 둘 다 4 에서 출발하고, 학습률 η = 0.1, 벌점의 세기 λ = 0.5 입니다.

  1. 보통 스텝: w ← w − η∇L. 손실이 내려가는 쪽으로 η 만큼 걷습니다. A 는 3 으로 가고, 기울기가 0 인 B 는 4 에 그대로 남습니다. 자료가 쓰지 않는 가중치는 아무도 줄여 주지 않습니다.
  2. 벌점의 기울기 더하기: w ← w − η(∇L + λw). 손실에 ½λw² 를 더하면 그 기울기 λw 가 붙습니다. 까닭: 스텝은 전체 손실의 기울기를 따라가니, 벌점의 기울기도 같이 들어갑니다.
  3. w 끼리 묶기: w − ηλw − η∇L = (1 − ηλ)w − η∇L. 괄호를 풀면 w 가 두 번 나와 하나로 묶입니다. 까닭: 이렇게 쓰면 한 스텝이 「먼저 w 를 (1 − ηλ) 배로 줄이고, 그다음 보통 스텝」으로 읽힙니다.
  4. 완성: w ← (1 − ηλ)w − η∇L. η = 0.1, λ = 0.5 면 스텝마다 0.95 배, 곧 5% 씩 줄어듭니다. 이것이 가중치 감쇠입니다. A 는 3 이 아니라 3 ÷ (1 + 0.5) = 2 에서 멈춥니다. 2절의 L2 식 h·w* ÷ (h + λ) 에 h = 1 을 넣은 값과 같습니다. 걸어서 가는 곳이 L2 벌점을 더한 손실의 최솟점입니다.

해 볼 것. ① 처음 단계에서 A 는 40 스텝 뒤 3.01, B 는 4 그대로입니다. ② 「다음」을 누르면 A 는 2 에서 멈추고, B 는 40 스텝 뒤 0.51 이 됩니다. ③ 한 번 더 누르면 B 의 처음 네 값 4 → 3.8 → 3.61 → 3.43 이 그림에 적힙니다. 매번 0.95 배입니다. ④ 마지막 단계의 주황 점선은 B 가 반(2)이 되는 13.51 스텝입니다.

4. 손으로 한 스텝

3절의 A 가 첫 걸음을 걷습니다. w = 4, 자료 손실의 기울기 ∇L = 4 − 3 = 1, η = 0.1, λ = 0.5.

  1. 벌점의 기울기. λw = 0.5 × 4 = 2.
  2. 합친 기울기로 한 스텝. 1 + 2 = 3, 4 − 0.1 × 3 = 3.7.
  3. 묶은 꼴로 다시. (1 − 0.1 × 0.5) × 4 = 0.95 × 4 = 3.8, 3.8 − 0.1 × 1 = 3.7. 같은 답입니다.
  4. 벌점이 없으면. 4 − 0.1 × 1 = 3.9. 벌점이 한 스텝에 ηλw = 0.05 × 4 = 0.2 를 더 줄였습니다.

5. Adam 에서는 갈라진다: AdamW

Adam 은 가중치마다 스텝 크기를 다르게 합니다. 대략 w ← w − η · m̂ ÷ (√v̂ + ε) 이고, m̂ 은 그 가중치의 최근 기울기 평균, √v̂ 은 최근 기울기의 크기입니다. 기울기가 늘 큰 가중치는 큰 수로 나눠 스텝이 작아지고, 작은 가중치는 스텝이 커집니다.

AdamW 논문(출처)은 L2 규제와 가중치 감쇠가 보통의 SGD 에서는 (학습률에 맞춰 λ 를 바꾸면) 같지만 Adam 에서는 같지 않다고 보이고, 분리된 가중치 감쇠(decoupled weight decay)로 Adam 의 일반화가 크게 나아져 이미지 분류(image classification)에서 모멘텀 SGD 와 겨룰 만해졌다고 적습니다. 많은 코드가 Adam + L2 를 「weight decay」라고 불러 헷갈리기 쉽다는 것도 논문이 짚은 점입니다.

6. 꼭 알아야 할 성질

성질쉬운 말실험에서
λ 가 클수록 0 쪽으로자료 손실과 벌점이 맞서는 곳이 최솟점. λ = 0 이면 자료만 본 점파란 점선 길
L2 는 0 을 만들지 않는다0 에 가까울수록 미는 힘 λw 도 약해진다λ = 4 에서도 (0.6, 0.33)
L1 은 정확히 0 을 만든다0 에서 자료가 당기는 힘보다 λ 가 세면 0 에 머문다. 쓸모없는 입력을 걸러 낸다λ = 2 에서 w₂ = 0
L2 는 자료가 덜 아끼는 쪽을 더 줄인다손실이 덜 굽은 방향일수록 h ÷ (h + λ) 가 작다λ = 2: w₁ 은 1/3, w₂ 는 1/2 로
보통의 SGD 에서 L2 벌점 = 가중치 감쇠, Adam 에서는 다르다한 스텝이 (1 − ηλ)w − η∇L 로 같아진다. Adam 은 벌점까지 스텝 크기로 나눈다3절, 5절

7. 규제 계수 고르기

8. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
L2 벌점(릿지)모든 가중치를 함께 작게. 답이 안정되고, 선형 모델은 식 하나로 풀린다쓸모없는 입력도 0 이 되지 않는다입력이 많거나 서로 닮은 선형·로지스틱 회귀
L1 벌점(라쏘)일부 가중치를 정확히 0 으로. 어떤 입력이 쓸모 있는지 보이고 모델이 작아진다0 에서 뾰족해 기울기가 없어 0 에서 자르는 풀이가 따로 필요하다. 닮은 입력 여럿 가운데 하나만 남기기 쉽다입력이 아주 많고 일부만 쓸모 있을 것 같을 때
SGD + 가중치 감쇠L2 벌점과 같은 일을 곱하기 한 번으로세기가 η × λ 라 학습률을 바꾸면 같이 바뀐다SGD 로 학습하는 신경망
Adam + L2(Adam 의 weight_decay)「손실에 벌점을 더한다」는 뜻 그대로기울기가 큰 가중치에 벌점이 덜 들어 줄이는 비율이 가중치마다 다르다옛 코드의 결과를 그대로 맞춰야 할 때
AdamW모든 가중치를 같은 비율로 줄인다. 논문에서 Adam 의 일반화가 나아졌다λ 를 따로 골라야 한다. 0 을 만들지는 않는다Adam 계열로 신경망을 학습할 때
벌점 없음자료에 가장 잘 맞는다. 고를 하이퍼파라미터(hyperparameter)가 하나 준다자료가 적으면 외우기 쉽다자료가 아주 많을 때, 조기 종료(early stopping) 같은 다른 방법을 쓸 때(과적합)

어디에 쓰나

자주 묻는 것

가중치 감쇠와 L2 규제는 같은 것인가요?

보통의 SGD 에서는 같습니다. 손실에 ½λw² 를 더하고 한 걸음 걸으면 w 가 (1 − ηλ) 배가 되기 때문입니다. Adam 처럼 가중치마다 스텝 크기를 바꾸는 방법에서는 다릅니다. 벌점의 기울기까지 스텝 크기로 나뉘기 때문입니다. 그래서 줄이기를 따로 하는 AdamW 가 나왔습니다.

왜 L1 은 가중치를 0 으로 만들고 L2 는 못 만드나요?

L2 가 미는 힘 λw 는 w 가 0 에 가까울수록 약해져서, 자료가 조금만 당겨도 0 에 닿지 못합니다. L1 이 미는 힘은 0 바로 앞까지 λ 그대로라, 0 에서 자료가 당기는 힘이 λ 보다 약하면 0 에 머뭅니다. 그림으로는 마름모의 꼭짓점이 축 위에 있어서 등고선이 꼭짓점에 먼저 닿습니다.

λ(weight_decay)는 얼마로 하나요?

모든 모델에 맞는 값은 없습니다. 0.0001, 0.001, 0.01, 0.1 처럼 10 배씩 몇 개를 해 보고 검증 오차가 가장 낮은 것을 고릅니다. 가중치 감쇠는 스텝마다 학습률 × λ 의 비율로 줄이므로, 학습률을 바꾸면 λ 도 다시 봅니다. PyTorch AdamW 의 기본값은 0.01 입니다.

낱말

여기서 쓴 말책에서 부르는 말
가중치에 벌점 주기규제, 정규화(regularization)
제곱 벌점L2 규제, 릿지(ridge), 티호노프 규제(Tikhonov regularization)
절댓값 벌점L1 규제, 라쏘(lasso)
벌점의 세기 λ규제 계수. 코드에서는 weight_decay, alpha
매번 일정한 비율로 줄이기가중치 감쇠(weight decay)
기울기와 떼어 낸 감쇠분리된 가중치 감쇠(decoupled weight decay), AdamW
0 쪽으로 당기고 넘으면 0소프트 임계값(soft thresholding)
0 인 가중치가 많음희소성(sparsity)
벌점의 울타리(원, 마름모)제약 영역(constraint region), 노름 공(norm ball)
한 번에 옮기는 폭 η학습률(learning rate)
손실이 굽은 정도 h곡률(curvature), 헤세 행렬(Hessian)의 고윳값
최근 기울기의 평균과 크기1차·2차 모멘트 추정(m̂, v̂)

출처

← 드롭아웃조기 종료와 학습 곡선 읽기 →