과적합과 일반화

점 15개에 곡선을 맞춥니다. 곡선을 구불구불하게 만들수록 그 점들에는 더 잘 맞지만, 새로 온 점에서는 오히려 틀리기 시작합니다. 막대를 움직여 그 순간을 찾아보세요.

한 줄 답. 과적합은 모델이 연습 문제(훈련 자료)를 통째로 외워서, 처음 보는 문제(시험 자료)에서는 틀리는 것입니다. 그래서 자료를 훈련용과 시험용으로 나눠 시험 점수로 판단하고, 모델이 너무 구불구불해지지 않게 벌점을 줍니다(규제, regularization). 처음 보는 자료에서도 잘 맞는 힘을 일반화라고 합니다.

● 훈련 점■ 시험 점━ 맞춘 곡선┅ 진짜 규칙
● 훈련 오차■ 시험 오차│ 지금 차수

지어낸 자료로 만든 작은 본보기입니다. 진짜 규칙은 sin 곡선(보라 점선)이고, 점마다 노이즈(noise)가 얹혀 있습니다. 실제 문제에서는 이 점선을 아무도 모릅니다. 초록 훈련 점은 위아래로 끌 수 있습니다(고른 점의 높이 칸으로도 바꿉니다). 자료를 다시 뽑거나 노이즈·점의 수를 바꾸면 끌어 옮긴 점은 처음 자리로 돌아갑니다. 판정(과소적합·적당함·과적합)은 실험이 진짜 규칙과 노이즈 크기를 알기 때문에 붙일 수 있는 어림입니다.

해 볼 것. ① 처음 모습은 차수 3 입니다. 훈련 오차 0.041, 시험 오차 0.103, 판정은 「적당함」. ② 차수를 1 로 내리면 직선이 됩니다. 훈련 오차 0.269, 시험 오차 0.224. 둘 다 커서 「과소적합」입니다. ③ 차수를 12 로 올리면 곡선이 점 사이에서 출렁이고 양 끝에서 그림 밖으로 튀어 나갑니다. 훈련 오차는 0.006 으로 가장 작은데 시험 오차는 3.218 로 가장 큽니다. 「과적합」입니다. 오른쪽 그래프에서 초록(훈련)은 계속 내려가고, 주황(시험)은 차수 3 에서 가장 낮았다가 다시 오릅니다.

1. 과적합이란: 외우기와 이해하기

시험 공부에 빗대면 쉽습니다. 연습 문제의 답을 통째로 외운 학생은 연습 문제를 다시 풀면 100점입니다. 그런데 숫자만 바꾼 새 문제가 나오면 틀립니다. 풀이의 규칙이 아니라 그 문제 자체를 외웠기 때문입니다. 모델도 같습니다.

아래 세 그림은 실험의 처음 자료(훈련 점 15개)에 차수만 바꿔 곡선을 맞춘 것입니다.

과소적합 (차수 1). 직선이라 굽은 곳을 따라가지 못합니다. 훈련 오차 0.269, 시험 오차 0.224. 둘 다 큽니다.
적당함 (차수 3). 점선(진짜 규칙)을 거의 따라갑니다. 훈련 오차 0.041, 시험 오차 0.103.
과적합 (차수 12). 점은 거의 다 지나가지만 점 사이와 양 끝에서 크게 출렁입니다. 훈련 오차 0.006, 시험 오차 3.218.

세 그림의 차이를 한 줄로 줄이면 이렇습니다. 과소적합은 훈련 오차도 시험 오차도 큽니다. 적당하면 둘 다 작고 차이도 작습니다. 과적합은 훈련 오차는 아주 작은데 시험 오차가 큽니다. 그래서 과적합은 훈련 오차만 봐서는 알 수 없습니다. 훈련 오차만 보면 늘 가장 복잡한 모델이 이겨 보이기 때문입니다.

2. 식: 곡선 맞추기와 오차 재기

다항식 곡선. 차수 d 인 다항식은 x 의 0제곱부터 d제곱까지에 숫자(가중치)를 하나씩 곱해 더한 식입니다. 차수 3 이면 이렇습니다.

ŷ = w₀ + w₁x + w₂x² + w₃x³

ŷ(와이 햇)은 곡선이 내놓는 값, w₀ ~ w₃ 은 가중치입니다. 차수가 높을수록 가중치가 많아지고 곡선이 굽을 수 있는 곳도 많아집니다(차수 d 면 오르내림이 많아야 d − 1 번 바뀝니다). 가중치의 수가 모델이 외울 수 있는 양이라고 생각하면 됩니다. 차수 12 면 가중치가 13개라서, 점 15개를 거의 다 지나갈 수 있습니다.

오차 재기. 점마다 (실제 y − 곡선의 y) 를 제곱해서 평균 낸 값을 평균 제곱 오차(MSE)라고 합니다. 0 이면 모든 점을 정확히 지나는 것입니다.

평균 제곱 오차 = (1/n) × Σ (yᵢ − ŷᵢ)²

n 은 점의 개수, Σ 는 「모두 더한다」입니다. 같은 식으로 두 번 잽니다. 훈련 점으로 재면 훈련 오차, 맞출 때 쓰지 않은 시험 점으로 재면 시험 오차입니다.

가중치 고르기. 훈련 오차가 가장 작아지는 가중치를 고릅니다. 직선 맞추기와 같은 최소제곱이고, 정규 방정식 XᵀX w = Xᵀy 를 풀면 나옵니다. X 는 훈련 점마다 [1, x, x², …, xᵈ] 를 한 줄로 적은 표, y 는 훈련 점의 y 값들, w 는 가중치들입니다.

실험 속 계산. 실험은 x 를 −1~1 에 두고, 1, x, x², … 대신 르장드르 다항식이라는 다른 곡선 묶음을 기준으로 씁니다. 차수가 12 쯤 되면 x¹⁰ 과 x¹² 가 −1~1 에서 거의 같은 모양이라, 정규 방정식을 풀 때 소수 계산의 오차가 커지기 때문입니다. 같은 차수면 만들 수 있는 곡선은 같고, 벌점이 없을 때(λ = 0) 맞춘 곡선도 같습니다. 식은 가우스 소거로 풉니다.

3. 훈련·검증·시험: 세 묶음의 구실

실제로는 자료를 셋으로 나눕니다.

묶음하는 일몇 번 보나비유
훈련 자료가중치를 맞춘다계속교과서 연습 문제
검증 자료차수, λ 같은 하이퍼파라미터(hyperparameter)와 모델을 고른다고를 때마다 여러 번모의고사
시험 자료다 고른 뒤 최종 성적을 잰다마지막에 한 번본 시험

왜 검증과 시험을 따로 두나요? 검증 오차를 보며 차수를 1부터 12까지 바꿔 가장 좋은 것을 고르면, 그 고르는 일 자체가 검증 자료에 맞추는 일이 됩니다. 후보가 많을수록 검증 자료에 「운 좋게 맞은」 것이 뽑힐 수 있습니다. 그래서 고르는 데 한 번도 쓰지 않은 시험 자료로 마지막에 한 번 재야 그 점수를 믿을 수 있습니다. 시험 점수를 보고 다시 고치기 시작하면, 시험 자료는 더 이상 시험 자료가 아닙니다.

나누는 비율은 정해져 있지 않습니다. 자료가 적으면 시험·검증에 떼어 줄 몫이 아깝고, 자료가 아주 많으면 작은 몫만 떼어도 충분합니다. 어느 경우든 무작위로 섞어서 나눕니다. 앞의 절반과 뒤의 절반처럼 나누면 두 묶음의 성질이 달라질 수 있습니다.

이 실험은 보여 주려고 훈련과 시험 둘로만 나눴고, 시험 오차를 보며 차수를 고릅니다. 실제로 이렇게 하면 시험 자료가 검증 자료가 되어 버립니다(10절).

4. 교차 검증: 자료가 적을 때

자료가 적으면 검증용으로 떼어 낼 몫이 아깝고, 작은 검증 자료로 잰 오차는 운에 따라 크게 흔들립니다. k겹 교차 검증은 훈련 자료를 k 묶음(예: 5 묶음)으로 나눈 뒤, 한 묶음씩 돌아가며 검증용으로 쓰고 나머지로 훈련합니다. 이렇게 k 번 맞춰서 나온 검증 오차 k 개의 평균으로 하이퍼파라미터를 고릅니다. 모든 자료가 한 번씩 검증에 쓰이므로 버리는 자료가 없고, 평균이라 덜 흔들립니다. 대신 맞추는 일을 k 번 해야 합니다. 하이퍼파라미터를 다 고른 뒤에는 훈련 자료 전체로 다시 맞추고, 따로 둔 시험 자료로 마지막에 한 번 잽니다. 교차 검증을 해도 시험 자료는 따로 둡니다. 묶음이 돌아가며 검증을 맡는 모습은 자료 나누기 쪽의 k겹 교차 검증 실험에서 볼 수 있습니다.

5. 편향과 분산의 맞바꿈

시험 오차는 세 가지가 더해진 것으로 볼 수 있습니다. 같은 규칙에서 자료를 여러 번 새로 뽑아 맞추고 시험 오차를 평균 내면 이렇게 나뉩니다.

시험 오차의 평균 = 편향² + 분산 + 노이즈²

몫쉬운 뜻실험에서
편향모델이 너무 단순해서 생기는 꾸준한 빗나감. 자료를 몇 번 다시 뽑아도 같은 쪽으로 틀린다차수 1. 직선은 끝내 sin 의 굽은 곳을 못 따라간다
분산자료를 다시 뽑을 때마다 맞춘 곡선이 달라지는 정도. 노이즈에 휘둘린다차수 12. 점 하나만 바뀌어도 곡선이 크게 출렁인다
노이즈자료 자체의 흔들림. 어떤 모델로도 줄일 수 없다노이즈 막대. 0.25 면 0.25² = 0.0625

차수를 올리면 편향은 줄고 분산은 늡니다. 하나를 줄이면 다른 하나가 느는 맞바꿈입니다. 두 몫의 합이 가장 작은 곳이 시험 오차 그래프의 U 자 바닥입니다. 노이즈 몫은 어떻게 해도 남으므로, 노이즈가 0.25 면 시험 오차는 평균적으로 0.0625 아래로 내려가기 어렵습니다.

아래 실험은 자료를 한 번 더 뽑을 때마다 같은 차수의 곡선을 맞춰 겹쳐 그립니다. 곡선 하나로는 편향과 분산이 보이지 않고, 여러 번 뽑은 곡선을 비교해야 보입니다.

━ 진짜 규칙━ 뽑을 때마다 맞춘 곡선(진한 것이 이번 곡선)━ 곡선들의 평균● 이번에 뽑은 훈련 점↕ 편향[ 분산(평균 ± √분산)
■ 편향²● 분산━ 합(편향² + 분산)│ 지금 차수▼ 합이 가장 작은 차수

자료는 위 실험의 처음 설정(훈련 점 15개, 노이즈 0.25)에서 시드(seed)만 바꿔 뽑습니다. 첫 곡선은 위 실험의 처음 자료에 맞춘 것이고, 그다음은 「자료 다시 뽑기」를 한 번씩 더 누른 자료에 맞춘 것과 같습니다. 오른쪽 그래프는 같은 방법으로 200번 뽑아, −1~1 을 40칸으로 나눈 칸의 가운데마다 재서 평균했습니다. 200번 평균한 곡선에도 흔들림이 남아(평균 내면 분산이 200분의 1로 줄 뿐 0 이 되지는 않습니다) 편향² 이 0.002 안쪽으로 조금씩 오르내립니다. 차수 12 는 분산이 너무 커서 200번 평균해도 편향² 이 제대로 잡히지 않아 단추와 그래프에서 뺐습니다.

해 볼 것. ① 차수 1 에서 「다음」을 19번 눌러 곡선 20개를 겹쳐 보세요. 직선들은 좁은 다발로 모입니다(x₀ 에서 분산 0.007). 그런데 평균이 x₀ 에서 0.498 이라 진짜 규칙 1 보다 0.502 아래입니다(편향² 0.252). 편향이 크고 분산이 작습니다. ② 그대로 차수 9 를 누르면 곡선 20개가 넓게 퍼지고(분산 0.029), 평균은 1.050 으로 규칙 가까이 옵니다(편향 0.050). 차수 3 은 분산 0.010, 편향 0.037 입니다. ③ 오른쪽 그래프에서 편향²(주황)은 0.195(차수 1) → 0.004(차수 3) 로 떨어지고, 분산(보라)은 0.010 → 0.018 → 0.315(차수 9) 로 오릅니다. 합은 차수 3 에서 0.022 로 가장 작습니다. 위 실험에서 시험 오차가 가장 낮았던 차수도 3 입니다. ④ 위 실험의 처음 자료에서 「8번 점 (x = 0.06)」을 고르고 높이를 0.18 에서 0.68 로 바꿔 보세요(위로 끌어도 됩니다). 차수 3 의 곡선은 0.1 쯤만 움직이지만, 차수 12 의 곡선은 그림 밖으로 튈 만큼 크게 바뀝니다.

6. 규제: 구불구불함에 벌점 주기

차수를 낮추는 것 말고도 방법이 있습니다. 차수는 그대로 두고 가중치가 커지는 것에 벌점을 주는 것입니다. 곡선이 점 하나하나를 따라 출렁이려면 가중치들이 커지고 서로 상쇄해야 합니다. 가중치를 키우는 것을 비싸게 만들면, 곡선은 꼭 필요한 만큼만 굽습니다. 이것을 규제라고 합니다.

L2 규제(릿지). 가중치의 제곱을 더해 벌점으로 씁니다.

손실 = Σ (yᵢ − ŷᵢ)² + λ × (w₁² + w₂² + … + w_d²)

이 식이 왜 이런 모양인지는 아래 「식이 만들어지는 과정」에서 그림으로 한 단계씩 봅니다.

λ(람다)는 벌점의 세기입니다. 0 이면 벌점이 없고, 클수록 가중치를 0 쪽으로 세게 누릅니다. 높이 w₀ 에는 보통 벌점을 주지 않습니다. 곡선 전체를 위아래로 옮기는 것은 구불구불함과 상관이 없기 때문입니다. 이 손실을 가장 작게 하는 가중치는 정규 방정식의 대각선에 λ 를 더한 식으로 바로 나옵니다.

(XᵀX + λI) w = Xᵀy

I 는 대각선만 1 이고 나머지는 0 인 표(단위 행렬)입니다(w₀ 자리는 0 으로 둡니다). 대각선에 λ 를 더하면 풀이가 숫자에도 덜 흔들립니다. L2 는 가중치를 모두 작게 만들지만 0 으로 만들지는 않습니다. 신경망에서 쓰는 가중치 감쇠(weight decay)도 같은 생각입니다.

L1 규제(라쏘). 가중치의 절댓값을 더해 벌점으로 씁니다.

손실 = Σ (yᵢ − ŷᵢ)² + λ × (|w₁| + |w₂| + … + |w_d|)

L1 은 가중치 몇 개를 정확히 0 으로 만듭니다. L2 의 벌점 w² 는 w 가 0 에 가까워질수록 미는 힘이 약해집니다(0.1 의 제곱은 0.01). L1 의 벌점 |w| 는 0 바로 앞까지 같은 힘으로 밉니다. 그래서 별 도움이 안 되는 가중치는 0 에서 멈춥니다. 입력이 아주 많을 때 쓸모없는 입력을 걸러 내는 데 씁니다. L1 은 식 하나로 풀리지 않아 조금씩 고쳐 가며 풉니다.

실험의 λ 막대는 L2 입니다. 눈금은 0, 0.00001, 0.00002, 0.00005, 0.0001, … , 1000 으로, 칸마다 2~2.5배씩 커집니다(로그 눈금).

해 볼 것. ① 차수를 12 로 두고 λ 를 올려 보세요. 시험 오차가 3.218(λ = 0) → 0.260(λ = 0.001) → 0.133(λ = 0.01) → 0.095(λ = 0.5) 로 줄고, 판정이 「적당함」으로 바뀝니다. 0.095 는 벌점 없는 차수 3 의 0.103 보다도 작습니다. ② λ 를 끝(1000)까지 올리면 곡선이 거의 평평한 직선이 되고 시험 오차가 0.499 로 다시 커집니다. 벌점이 너무 세면 과소적합입니다. ③ 그동안 훈련 오차는 0.006 → 0.022(λ = 0.5) → 0.535(λ = 1000) 로 계속 오릅니다. 규제는 훈련 오차를 조금 내주고 시험 오차를 얻는 일입니다.

식이 만들어지는 과정: 규제한 손실

6절의 손실 식을 한 단계씩 만들어 봅니다. 자료는 위 실험의 처음 자료(훈련 점 15개, 시험 점 30개, 노이즈 0.25)이고, 곡선은 차수 12 입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다.

● 훈련 점■ 시험 점━ 맞춘 곡선┅ 진짜 규칙▮ 오차 몫▮ 가중치, 벌점 몫

손실은 6절처럼 오차 제곱의 합(Σ)으로 재고, 훈련 오차·시험 오차는 위 실험처럼 평균 제곱 오차입니다. 막대그래프의 w 는 실험이 쓰는 기준 곡선(르장드르 다항식, 2절)에 곱하는 가중치이고, 벌점도 이 가중치에 줍니다. 1, x, x², … 의 가중치에 벌점을 주면 같은 λ 에서도 곡선과 숫자가 달라집니다. λ 막대는 ④·⑤ 단계에서 움직일 수 있습니다. 위 실험에서 점을 끌어 옮겨도 이 그림은 처음 자료 그대로입니다.

7. 손으로 따라 풀기: 점 세 개

진짜 규칙이 y = x 이고, 가운데 점에만 노이즈 0.3 이 얹혔다고 합시다. 훈련 점은 A(−1, −1), B(0, 0.3), C(1, 1) 셋입니다.

  1. 직선(차수 1). 최소제곱 공식으로 x 의 평균 0, y 의 평균 (−1 + 0.3 + 1) ÷ 3 = 0.1. 기울기 = ((−1)×(−1.1) + 0×0.2 + 1×0.9) ÷ (1 + 0 + 1) = 2 ÷ 2 = 1. 높이 = 0.1 − 1×0 = 0.1. 직선은 y = 0.1 + x.
  2. 직선의 훈련 오차. 잔차(실제 − 곡선)는 A: −1 − (−0.9) = −0.1, B: 0.3 − 0.1 = 0.2, C: 1 − 1.1 = −0.1. 제곱은 0.01, 0.04, 0.01 이고 합은 0.06, 평균은 0.02.
  3. 2차식(차수 2). y = a + bx + cx² 에 세 점을 넣습니다. B 에서 a = 0.3. C 에서 0.3 + b + c = 1, A 에서 0.3 − b + c = −1. 두 식을 더하면 0.6 + 2c = 0 이라 c = −0.3, 그러면 b = 1. 곡선은 y = 0.3 + x − 0.3x². 세 점을 모두 정확히 지나므로 훈련 오차는 0.
  4. 새 점으로 시험. 규칙 그대로인 새 점 D(0.5, 0.5) 를 봅니다. 직선은 0.1 + 0.5 = 0.6 이라 오차 0.1, 제곱 0.01. 2차식은 0.3 + 0.5 − 0.3×0.25 = 0.725 라 오차 0.225, 제곱 약 0.051. 훈련 오차로는 2차식이 이겼지만, 새 점의 제곱 오차는 직선이 다섯 배쯤 작습니다. 2차식은 B 의 노이즈 0.3 까지 외웠기 때문입니다.
  5. 벌점을 주면. 2차식에 λ = 1 로 L2 벌점을 줍니다(w₀ 는 빼고). (XᵀX + λI) w = Xᵀy 는 3a + 2c = 0.3, (2 + 1)b = 2, 2a + (2 + 1)c = 0 이 되고, 풀면 y = 0.18 + 0.67x − 0.12x². x² 의 가중치가 −0.3 에서 −0.12 로, x 의 가중치가 1 에서 0.67 로 작아졌습니다. 훈련 오차는 0 에서 0.081 로 늘고, D 에서는 0.483 이라 제곱 오차가 0.0003 으로 줄었습니다. 점 하나로 본 것이라 운도 섞여 있지만, 벌점이 「훈련 오차를 조금 내주는」 방향으로 곡선을 누른다는 것은 그대로 보입니다.

8. 꼭 알아야 할 성질

성질뜻실험에서 (처음 자료)
차수를 올리면 훈련 오차는 줄거나 같다큰 모델은 작은 모델이 하는 일을 다 할 수 있다(남는 가중치를 0 으로 두면 된다). λ = 0 일 때0.269(차수 1) → 0.006(차수 12)
시험 오차는 U 자내려가다(편향이 줄어서) 다시 오른다(분산이 늘어서)0.224 → 0.103(차수 3) → 3.218(차수 12)
자료가 많으면 과적합이 준다점이 많으면 곡선이 노이즈 하나하나를 따라갈 수 없다「점 더 많이」에서 차수 12 의 시험 오차 3.218 → 0.111
λ 를 키우면 훈련 오차는 오르고 시험 오차는 U 자벌점은 훈련 오차를 내주고 단순함을 얻는다. 너무 크면 과소적합차수 12: 시험 오차 3.218 → 0.095(λ = 0.5) → 0.499(λ = 1000)
노이즈가 클수록 과적합이 심하다외울 노이즈가 많을수록 복잡한 모델이 더 크게 빗나간다차수 12 의 시험 오차: 노이즈 0 → 0.000, 0.1 → 0.515, 0.25 → 3.218, 0.5 → 12.9

9. 그 밖에 과적합을 막는 방법

해 볼 것. ① 「점 더 많이」를 누르면 훈련 점이 15개에서 60개가 됩니다(시험 점 30개는 그대로). 차수 12 의 시험 오차가 3.218 에서 0.111 로 줄고 판정이 「적당함」이 됩니다. 차수 3 은 0.080 입니다. ② 다시 15개로 돌리고 노이즈를 0 으로 내리면, 차수 12 에서도 시험 오차가 0.000 입니다. 외울 노이즈가 없으면 과적합도 없습니다.

10. 흔한 실수: 시험 자료가 훈련에 샌다

시험 자료의 정보가 어떤 길로든 훈련에 들어가면, 시험 점수가 실제보다 좋게 나옵니다. 그리고 실제로 쓰기 시작하면 성능이 떨어집니다. 이것을 데이터 누수라고 합니다. 자주 생기는 길은 이렇습니다.

시험 점수가 믿기 어려울 만큼 좋으면 먼저 누수를 의심합니다.

어디에 쓰나

# 파이썬(scikit-learn): 시험 자료를 떼어 두고, λ(여기서는 alpha)는 교차 검증으로 고른다
import numpy as np
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_error

rng = np.random.default_rng(0)
x = rng.uniform(-1, 1, 45)
y = np.sin(np.pi * x) + rng.normal(0, 0.25, 45)       # 지어낸 자료
X_train, X_test, y_train, y_test = train_test_split(x.reshape(-1, 1), y, test_size=1/3, random_state=0)

def make_model(alpha):   # 크기 맞추기(StandardScaler)를 파이프라인 안에 둬야 검증 묶음이 새지 않는다
    return make_pipeline(PolynomialFeatures(12), StandardScaler(), Ridge(alpha=alpha))

cv_error = {a: -cross_val_score(make_model(a), X_train, y_train, cv=5,
                                scoring="neg_mean_squared_error").mean()
            for a in [0.001, 0.01, 0.1, 1, 10]}        # 훈련 자료 안에서만 고른다
best = min(cv_error, key=cv_error.get)
model = make_model(best).fit(X_train, y_train)
print(best, mean_squared_error(y_test, model.predict(X_test)))   # 시험: 마지막에 한 번

자주 묻는 것

과적합이 뭔가요?

모델이 훈련 자료를 통째로 외워서, 훈련 자료에서는 잘 맞지만 처음 보는 자료에서는 틀리는 것입니다. 규칙뿐 아니라 우연히 섞인 노이즈까지 따라간 탓입니다.

과적합인지 어떻게 알 수 있나요?

훈련 오차와, 훈련에 쓰지 않은 검증 자료의 오차를 같이 봅니다. 훈련 오차는 작은데 검증 오차가 훨씬 크면 과적합입니다. 둘 다 크면 과소적합입니다.

검증 자료와 시험 자료는 무엇이 다른가요?

검증 자료는 모델과 하이퍼파라미터(차수, λ 등)를 고를 때 여러 번 봅니다. 시험 자료는 다 고른 뒤 마지막에 한 번만 봅니다. 시험 자료를 보며 고르면 시험 점수가 실제 실력보다 좋게 나옵니다.

규제 세기 λ 는 어떻게 정하나요?

여러 값(예: 0.001, 0.01, 0.1, 1, 10)을 해 보고, 검증 오차나 교차 검증 오차가 가장 작은 값을 고릅니다. 너무 크면 과소적합, 너무 작으면 과적합 쪽으로 갑니다.

정규화(regularization)와 정규화(normalization)는 같은 말인가요?

아닙니다. 한국어로는 둘 다 정규화라고 부르지만, 이 쪽의 규제(regularization)는 모델의 가중치에 벌점을 주는 것이고, normalization 은 자료의 크기를 맞추는 것(예: 0~1 로 바꾸기)입니다. 헷갈리면 영어를 같이 적습니다.

낱말

여기서 쓴 말책에서 부르는 말
훈련 자료에만 맞고 새 자료에서 틀림과적합(overfitting)
너무 단순해 훈련 자료에도 안 맞음과소적합(underfitting)
처음 보는 자료에서도 맞음일반화(generalization)
훈련 자료 · 검증 자료 · 시험 자료training set · validation set · test set
시험 오차test error, 일반화 오차(generalization error)
(실제 − 곡선)² 의 평균평균 제곱 오차(mean squared error, MSE)
가중치계수(coefficient), 매개변수(parameter), weight
차수, λ 처럼 사람이 정하는 설정하이퍼파라미터(hyperparameter)
돌아가며 검증하기k겹 교차 검증(k-fold cross-validation)
꾸준한 빗나감 · 뽑을 때마다 흔들림편향(bias) · 분산(variance), 편향-분산 맞바꿈(bias-variance tradeoff)
가중치에 벌점 주기규제(regularization)
제곱 벌점L2 규제, 릿지 회귀(ridge regression), 가중치 감쇠(weight decay)
절댓값 벌점L1 규제, 라쏘(lasso)
대각선만 1 인 표단위 행렬(identity matrix)
일찍 멈추기조기 종료(early stopping)
뉴런 일부를 끄기드롭아웃(dropout)
자료 불리기데이터 증강(data augmentation)
시험 자료가 훈련에 샘데이터 누수(data leakage), 평가 자료 오염(data contamination)
르장드르 다항식Legendre polynomials. −1~1 에서 서로 직교하는 다항식들

출처

← 로지스틱 회귀정규화와 표준화 →