가중치 감쇠와 L1·L2 규제
모델이 훈련 자료를 외우면 가중치가 커지는 일이 많습니다. 그래서 손실에 「가중치가 크면 벌점」을 더합니다. 벌점을 원(L2)으로 줄 때와 마름모(L1)로 줄 때 최솟점이 어디로 가는지 보고, 그 벌점이 학습의 한 걸음인 스텝(step)에서 「가중치를 일정한 비율로 줄이기」가 되는 과정을 따라가 보세요.
한 줄 답. 규제는 손실에 가중치 크기의 벌점을 더하는 것입니다. 제곱의 합을 쓰면 L2, 모든 가중치를 함께 작게 만들지만 0 으로는 만들지 않습니다. 절댓값의 합을 쓰면 L1, 몇 개를 정확히 0 으로 만듭니다. L2 벌점을 넣고 경사 하강법으로 걸으면 스텝마다 w ← (1 − ηλ)w − η∇L, 곧 가중치가 일정한 비율로 줄어서 가중치 감쇠라고 부릅니다. Adam 에서는 이 둘이 달라져서 줄이기를 따로 하는 AdamW 를 씁니다.
자료 손실 ½(w₁ − 3)² + (w₂ − 1)² 에 벌점을 더합니다. 가중치 둘만 있는 작게 줄인 본보기입니다.
보라 타원은 벌점 없이 자료만 본 손실의 등고선이고, 굵은 것이 지금 최솟점을 지납니다. 초록 원이나 마름모는 최솟점과 벌점이 같은 점들(제약 영역, constraint region)입니다. 주황 점은 자료만 볼 때의 최솟점 w*, 검은 점은 벌점까지 더한 최솟점, 파란 점선은 λ 를 0 에서 4 로 키울 때 검은 점이 지나는 길입니다. 진짜 모델은 가중치가 수백만 개이고 손실이 이렇게 반듯한 그릇이 아니지만, 최솟점 가까이에서는 그릇으로 어림해 생각합니다.
1. 벌점을 더한다는 것
학습은 손실 L(w)(틀린 정도)이 가장 작은 가중치 w 를 찾는 일입니다. 규제는 여기에 가중치가 클수록 커지는 벌점을 더해, 손실과 벌점의 합이 가장 작은 곳을 찾게 합니다.
L2: 전체 손실 = L(w) + λ × ½(w₁² + w₂² + …)
L1: 전체 손실 = L(w) + λ × (|w₁| + |w₂| + …)
L(w): 손실(틀린 정도).w(w₁,w₂, …): 가중치.λ: 규제 계수(regularization coefficient), 벌점의 세기.
λ(람다)는 벌점의 세기입니다. 0 이면 벌점이 없고, 클수록 가중치를 0 쪽으로 세게 누릅니다. L2 의 ½ 은 미분하면 2 가 지워지게 붙인 것이라 λ 의 눈금만 바꿉니다(과적합 쪽의 식은 ½ 이 없습니다). 왜 가중치가 크면 외우기 쉬운지, 다항식 곡선에서 λ 를 올리면 시험 오차가 어떻게 되는지는 과적합 쪽에서 봤으니, 이 쪽은 벌점의 모양, 학습의 한 스텝, Adam 과의 관계를 봅니다.
2. 원과 마름모: L1 만 0 을 만드는 까닭
벌점이 같은 점들을 이으면 L2 는 원점이 가운데인 원, L1 은 꼭짓점이 축 위에 있는 마름모가 됩니다. 「손실 + λ × 벌점」을 가장 작게 하는 것은, 「벌점이 이 제약 영역 안」이라는 조건 아래 손실을 가장 작게 하는 것과 같은 답을 냅니다. 그래서 최솟점은 자료 손실의 등고선이 제약 영역에 바깥에서 처음 닿는 점입니다. λ 가 클수록 제약 영역이 작아집니다.
- L2(원). 원은 매끈해서, 등고선이 대개 축이 아닌 곳에서 닿습니다. 가중치가 모두 작아지지만 0 은 되지 않습니다. 이 실험처럼 축마다 따로 풀리는 손실이면
w = h·w* ÷ (h + λ)입니다. h 는 그 축으로 손실이 굽은 정도인 곡률(curvature, w₁ 은 1, w₂ 는 2)이라서, λ 가 아무리 커도 0 이 되지 않습니다. - L1(마름모). 마름모는 꼭짓점이 축 위에 뾰족하게 나와 있어서, 등고선이 꼭짓점에 먼저 닿는 일이 많습니다. 꼭짓점에서는 한 가중치가 정확히 0 입니다. 식으로는
w* 를 λ ÷ h 만큼 0 쪽으로 당기고, 0 을 넘으면 0입니다(soft thresholding). w₂ 는 0 에서 자료가 당기는 힘이h × w* = 2 × 1 = 2라서, λ 가 2 이상이면 0 에 머뭅니다.
해 볼 것. ① 처음(L2, λ = 1)의 최솟점은 (1.5, 0.67) 입니다. λ 를 0 으로 내리면 자료만 볼 때의 (3, 1), 끝(4)까지 올리면 (0.6, 0.33) 입니다. 0 이 되는 가중치는 끝까지 없습니다. ② L1 로 바꾸면 λ = 1 에서 (2, 0.5) 이고, λ = 2 에서 w₂ 가 정확히 0 이 되어 (1, 0) 입니다. 검은 점이 마름모의 꼭짓점에 있고, 파란 길이 그때부터 가로축을 따라갑니다. λ = 3 부터는 (0, 0) 입니다. ③ L2 에서 λ = 2 로 두면 (1, 0.5) 입니다. w₁ 은 3 에서 1 로 1/3 이 되고, w₂ 는 1 에서 0.5 로 1/2 이 됩니다. 손실이 덜 굽은 축, 곧 자료가 덜 아끼는 가중치를 더 많이 줄입니다.
3. 식이 만들어지는 과정: 스텝마다 일정한 비율로 줄이기
이제 L2 벌점을 넣고 경사 하강법으로 걸으면 한 스텝이 어떻게 되는지 봅니다. 가중치 둘을 같이 봅니다. A 는 자료가 3 을 원하는 가중치(자료 손실 ½(w − 3)², 기울기 w − 3)이고, B 는 자료가 쓰지 않는 가중치(기울기 0)입니다. 둘 다 4 에서 출발하고, 학습률 η = 0.1, 벌점의 세기 λ = 0.5 입니다.
- 보통 스텝:
w ← w − η∇L. 손실이 내려가는 쪽으로 η 만큼 걷습니다. A 는 3 으로 가고, 기울기가 0 인 B 는 4 에 그대로 남습니다. 자료가 쓰지 않는 가중치는 아무도 줄여 주지 않습니다. - 벌점의 기울기 더하기:
w ← w − η(∇L + λw). 손실에½λw²를 더하면 그 기울기λw가 붙습니다. 까닭: 스텝은 전체 손실의 기울기를 따라가니, 벌점의 기울기도 같이 들어갑니다. - w 끼리 묶기:
w − ηλw − η∇L = (1 − ηλ)w − η∇L. 괄호를 풀면 w 가 두 번 나와 하나로 묶입니다. 까닭: 이렇게 쓰면 한 스텝이 「먼저 w 를 (1 − ηλ) 배로 줄이고, 그다음 보통 스텝」으로 읽힙니다. - 완성:
w ← (1 − ηλ)w − η∇L. η = 0.1, λ = 0.5 면 스텝마다 0.95 배, 곧 5% 씩 줄어듭니다. 이것이 가중치 감쇠입니다. A 는 3 이 아니라3 ÷ (1 + 0.5) = 2에서 멈춥니다. 2절의 L2 식h·w* ÷ (h + λ)에 h = 1 을 넣은 값과 같습니다. 걸어서 가는 곳이 L2 벌점을 더한 손실의 최솟점입니다.
해 볼 것. ① 처음 단계에서 A 는 40 스텝 뒤 3.01, B 는 4 그대로입니다. ② 「다음」을 누르면 A 는 2 에서 멈추고, B 는 40 스텝 뒤 0.51 이 됩니다. ③ 한 번 더 누르면 B 의 처음 네 값 4 → 3.8 → 3.61 → 3.43 이 그림에 적힙니다. 매번 0.95 배입니다. ④ 마지막 단계의 주황 점선은 B 가 반(2)이 되는 13.51 스텝입니다.
4. 손으로 한 스텝
3절의 A 가 첫 걸음을 걷습니다. w = 4, 자료 손실의 기울기 ∇L = 4 − 3 = 1, η = 0.1, λ = 0.5.
- 벌점의 기울기.
λw = 0.5 × 4 = 2. - 합친 기울기로 한 스텝.
1 + 2 = 3,4 − 0.1 × 3 = 3.7. - 묶은 꼴로 다시.
(1 − 0.1 × 0.5) × 4 = 0.95 × 4 = 3.8,3.8 − 0.1 × 1 = 3.7. 같은 답입니다. - 벌점이 없으면.
4 − 0.1 × 1 = 3.9. 벌점이 한 스텝에ηλw = 0.05 × 4 = 0.2를 더 줄였습니다.
5. Adam 에서는 갈라진다: AdamW
Adam 은 가중치마다 스텝 크기를 다르게 합니다. 대략 w ← w − η · m̂ ÷ (√v̂ + ε) 이고, m̂ 은 그 가중치의 최근 기울기 평균, √v̂ 은 최근 기울기의 크기입니다. 기울기가 늘 큰 가중치는 큰 수로 나눠 스텝이 작아지고, 작은 가중치는 스텝이 커집니다.
- Adam + L2 벌점. 벌점의 기울기를 기울기에 더합니다:
g = ∇L + λw. 그러면λw도 √v̂ 으로 나뉩니다. 자료의 기울기가 큰 가중치일수록 벌점이 덜 듣고, 줄어드는 비율이 가중치마다 달라집니다. 3절의 「스텝마다 (1 − ηλ) 배」가 더는 성립하지 않습니다. PyTorch 의Adam(weight_decay=…)이 이 방식이고, 문서도 「L2 penalty」라고 적습니다. - AdamW. 줄이기를 기울기에서 떼어 따로 합니다:
w ← (1 − ηλ)w − η · m̂ ÷ (√v̂ + ε). 3절의 식이 그대로 살아 있어, 모든 가중치가 스텝마다 같은 비율로 줄어듭니다. PyTorch 의AdamW이고 weight_decay 의 기본값은 0.01 입니다.
AdamW 논문(출처)은 L2 규제와 가중치 감쇠가 보통의 SGD 에서는 (학습률에 맞춰 λ 를 바꾸면) 같지만 Adam 에서는 같지 않다고 보이고, 분리된 가중치 감쇠(decoupled weight decay)로 Adam 의 일반화가 크게 나아져 이미지 분류(image classification)에서 모멘텀 SGD 와 겨룰 만해졌다고 적습니다. 많은 코드가 Adam + L2 를 「weight decay」라고 불러 헷갈리기 쉽다는 것도 논문이 짚은 점입니다.
6. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| λ 가 클수록 0 쪽으로 | 자료 손실과 벌점이 맞서는 곳이 최솟점. λ = 0 이면 자료만 본 점 | 파란 점선 길 |
| L2 는 0 을 만들지 않는다 | 0 에 가까울수록 미는 힘 λw 도 약해진다 | λ = 4 에서도 (0.6, 0.33) |
| L1 은 정확히 0 을 만든다 | 0 에서 자료가 당기는 힘보다 λ 가 세면 0 에 머문다. 쓸모없는 입력을 걸러 낸다 | λ = 2 에서 w₂ = 0 |
| L2 는 자료가 덜 아끼는 쪽을 더 줄인다 | 손실이 덜 굽은 방향일수록 h ÷ (h + λ) 가 작다 | λ = 2: w₁ 은 1/3, w₂ 는 1/2 로 |
| 보통의 SGD 에서 L2 벌점 = 가중치 감쇠, Adam 에서는 다르다 | 한 스텝이 (1 − ηλ)w − η∇L 로 같아진다. Adam 은 벌점까지 스텝 크기로 나눈다 | 3절, 5절 |
7. 규제 계수 고르기
- 10 배씩 몇 개를 해 보고 검증 오차로 고릅니다. 0.0001, 0.001, 0.01, 0.1 처럼 로그 스케일로 봅니다. 너무 크면 과소적합, 너무 작으면 과적합입니다. 검증 자료와 교차 검증은 자료 나누기 쪽에 있습니다.
- 가중치 감쇠의 빠르기는 η × λ 입니다. 스텝마다 ηλ 의 비율로 줄고, 반이 되는 스텝 수는
log 0.5 ÷ log(1 − ηλ)입니다(실험: ηλ = 0.05 에서 13.51 스텝). 그래서 학습률을 바꾸면 감쇠의 세기도 같이 바뀝니다. 학습률을 바꿨으면 λ 도 다시 봅니다. - 입력의 눈금을 먼저 맞춥니다. 벌점은 가중치의 크기를 보는데, 가중치의 크기는 입력의 단위에 따라 달라집니다. 정규화와 표준화로 눈금을 맞춰야 벌점이 공평합니다.
- 편향(bias)에는 보통 벌점을 주지 않습니다. 교과서 『Deep Learning』(출처)은 층마다 곱하는 가중치에만 벌점을 주고 편향은 두는 것이 보통이라고 적습니다. 편향은 곡선 전체를 옮길 뿐 구불구불함과 상관이 없습니다.
8. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| L2 벌점(릿지) | 모든 가중치를 함께 작게. 답이 안정되고, 선형 모델은 식 하나로 풀린다 | 쓸모없는 입력도 0 이 되지 않는다 | 입력이 많거나 서로 닮은 선형·로지스틱 회귀 |
| L1 벌점(라쏘) | 일부 가중치를 정확히 0 으로. 어떤 입력이 쓸모 있는지 보이고 모델이 작아진다 | 0 에서 뾰족해 기울기가 없어 0 에서 자르는 풀이가 따로 필요하다. 닮은 입력 여럿 가운데 하나만 남기기 쉽다 | 입력이 아주 많고 일부만 쓸모 있을 것 같을 때 |
| SGD + 가중치 감쇠 | L2 벌점과 같은 일을 곱하기 한 번으로 | 세기가 η × λ 라 학습률을 바꾸면 같이 바뀐다 | SGD 로 학습하는 신경망 |
| Adam + L2(Adam 의 weight_decay) | 「손실에 벌점을 더한다」는 뜻 그대로 | 기울기가 큰 가중치에 벌점이 덜 들어 줄이는 비율이 가중치마다 다르다 | 옛 코드의 결과를 그대로 맞춰야 할 때 |
| AdamW | 모든 가중치를 같은 비율로 줄인다. 논문에서 Adam 의 일반화가 나아졌다 | λ 를 따로 골라야 한다. 0 을 만들지는 않는다 | Adam 계열로 신경망을 학습할 때 |
| 벌점 없음 | 자료에 가장 잘 맞는다. 고를 하이퍼파라미터(hyperparameter)가 하나 준다 | 자료가 적으면 외우기 쉽다 | 자료가 아주 많을 때, 조기 종료(early stopping) 같은 다른 방법을 쓸 때(과적합) |
어디에 쓰나
- 선형 모델. 릿지(L2)와 라쏘(L1)는 선형 회귀와 로지스틱 회귀의 기본 규제입니다.
- 특성 선택(feature selection). L1 로 맞춘 뒤 0 이 된 입력을 뺍니다.
- 신경망 학습. SGD 의 weight_decay 와 AdamW 의 weight_decay 가 가중치 감쇠입니다. 신경망, 트랜스포머를 학습하는 코드에서 흔히 봅니다.
자주 묻는 것
가중치 감쇠와 L2 규제는 같은 것인가요?
보통의 SGD 에서는 같습니다. 손실에 ½λw² 를 더하고 한 걸음 걸으면 w 가 (1 − ηλ) 배가 되기 때문입니다. Adam 처럼 가중치마다 스텝 크기를 바꾸는 방법에서는 다릅니다. 벌점의 기울기까지 스텝 크기로 나뉘기 때문입니다. 그래서 줄이기를 따로 하는 AdamW 가 나왔습니다.
왜 L1 은 가중치를 0 으로 만들고 L2 는 못 만드나요?
L2 가 미는 힘 λw 는 w 가 0 에 가까울수록 약해져서, 자료가 조금만 당겨도 0 에 닿지 못합니다. L1 이 미는 힘은 0 바로 앞까지 λ 그대로라, 0 에서 자료가 당기는 힘이 λ 보다 약하면 0 에 머뭅니다. 그림으로는 마름모의 꼭짓점이 축 위에 있어서 등고선이 꼭짓점에 먼저 닿습니다.
λ(weight_decay)는 얼마로 하나요?
모든 모델에 맞는 값은 없습니다. 0.0001, 0.001, 0.01, 0.1 처럼 10 배씩 몇 개를 해 보고 검증 오차가 가장 낮은 것을 고릅니다. 가중치 감쇠는 스텝마다 학습률 × λ 의 비율로 줄이므로, 학습률을 바꾸면 λ 도 다시 봅니다. PyTorch AdamW 의 기본값은 0.01 입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 가중치에 벌점 주기 | 규제, 정규화(regularization) |
| 제곱 벌점 | L2 규제, 릿지(ridge), 티호노프 규제(Tikhonov regularization) |
| 절댓값 벌점 | L1 규제, 라쏘(lasso) |
| 벌점의 세기 λ | 규제 계수. 코드에서는 weight_decay, alpha |
| 매번 일정한 비율로 줄이기 | 가중치 감쇠(weight decay) |
| 기울기와 떼어 낸 감쇠 | 분리된 가중치 감쇠(decoupled weight decay), AdamW |
| 0 쪽으로 당기고 넘으면 0 | 소프트 임계값(soft thresholding) |
| 0 인 가중치가 많음 | 희소성(sparsity) |
| 벌점의 울타리(원, 마름모) | 제약 영역(constraint region), 노름 공(norm ball) |
| 한 번에 옮기는 폭 η | 학습률(learning rate) |
| 손실이 굽은 정도 h | 곡률(curvature), 헤세 행렬(Hessian)의 고윳값 |
| 최근 기울기의 평균과 크기 | 1차·2차 모멘트 추정(m̂, v̂) |
출처
- Ilya Loshchilov, Frank Hutter, Decoupled Weight Decay Regularization, arXiv:1711.05101. SGD 에서는 L2 와 가중치 감쇠가 같고 Adam 에서는 다르다는 것, 분리된 가중치 감쇠(AdamW).
- Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, 7장(규제). L2 벌점과 한 스텝의 곱하기 꼴, 굽은 방향마다 줄이는 정도, L1 의 희소성, 편향에는 벌점을 주지 않는 관례.
- PyTorch 문서: AdamW(weight_decay 기본값 0.01), Adam(weight_decay 는 L2 벌점).