서포트 벡터 머신(SVM)
두 클래스(class)를 가르는 곧은 선은 대개 여럿입니다. 그 가운데 어느 선을 고를까요? 서포트 벡터 머신(SVM)은 양쪽 클래스에서 가장 가까운 점까지 가장 멀리 떨어진 선을 고릅니다. 한 걸음씩 넘기며 그 선을 찾아보세요.
한 줄 답. SVM 은 두 클래스를 가르는 선 가운데 양쪽 가장 가까운 점까지의 거리(마진, margin)가 가장 넓은 선을 고릅니다. 그 선을 정하는 것은 마진에 걸친 몇 개의 점(서포트 벡터)뿐입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 점은 지어낸 자료 14점입니다. 파랑, 보라, 회색 선이 후보 A, B, C 이고 선 끝에 이름이 붙어 있습니다. 화살표는 가장 가까운 점에서 선까지 직각으로 잰 거리입니다. 먹색 굵은 선이 마진이 가장 넓은 선, 옅은 파랑 띠와 점선이 마진, 검은 테두리가 서포트 벡터입니다.
1. 마진과 서포트 벡터
SVM 은 점들이 놓인 공간에 초평면(hyperplane)을 세워 클래스를 가릅니다. 입력이 둘이면 초평면은 직선, 셋이면 평평한 판, 그보다 많으면 한 차원 낮은 평평한 판입니다. 이 쪽의 실험은 입력이 둘이라 직선입니다. 경계선의 식은 로지스틱 회귀와 같은 w₁x₁ + w₂x₂ + b = 0 입니다. 다른 것은 어느 선을 고르나입니다.
위 실험의 A, B, C 는 14점을 모두 맞힙니다. 맞히기만으로는 고를 수 없습니다. scikit-learn 사용자 안내는 이렇게 고릅니다: 어느 클래스든 가장 가까운 훈련 점까지의 거리가 가장 큰 초평면이 잘 가른다. 대체로 이 거리(마진)가 클수록 분류기의 일반화 오차가 낮기 때문이다. 실험에서 A, B, C 의 가장 가까운 점까지는 0.71, 0.89, 0.73 이고, 마진이 가장 넓은 선은 1.34 입니다. 양옆을 합친 마진의 폭은 2.68 입니다.
서포트 벡터. 그 선을 정하는 것은 마진 경계에 닿은 점 넷, (1, 1), (3, 0), (−1, −1), (1, −2) 뿐입니다. scikit-learn 의 말로는 결정 함수가 훈련 자료의 일부, 곧 서포트 벡터에만 기댑니다. 나머지 10점은 마진 밖에 있어서, 지우거나 마진 밖에서 옮겨도 선이 그대로입니다. 이 쪽의 자가 검사는 서포트 벡터 넷만 남기고 다시 풀어 같은 선이 나오는지 확인합니다.
2. 식: 원문제
scikit-learn 사용자 안내가 적는 SVM 의 원문제(primal problem)입니다. 아래를 지키면서 첫 줄의 값을 가장 작게 하는 w 와 b 를 찾습니다.
½·wᵀw + C·Σζᵢ 를 가장 작게
지킬 것: yᵢ(wᵀxᵢ + b) ≥ 1 − ζᵢ, ζᵢ ≥ 0 (i = 1, 2, …, n)
xᵢ: i 번째 점. 실험에서는 (x₁, x₂) 두 숫자입니다.yᵢ: i 번째 점의 정답. 초록 동그라미가 +1, 주황 네모가 −1 입니다.w: 경계선과 직각인 화살표(가중치).wᵀw = w₁² + w₂², 곧 w 의 길이 ‖w‖ 의 제곱입니다.wᵀxᵢ: w 와 xᵢ 의 내적w₁xᵢ₁ + w₂xᵢ₂.b: 편향(bias). 선을 옆으로 옮깁니다.wᵀx + b = 0이 경계선,= +1과= −1이 두 마진 경계입니다.yᵢ(wᵀxᵢ + b): 점이 맞는 쪽으로 얼마나 들어가 있나. 1 이상이면 맞는 쪽 마진 밖, 0 ~ 1 이면 마진 안, 0 보다 작으면 반대편입니다.ζᵢ(제타): 점 i 가 맞는 쪽 가장자리에서 모자란 만큼. 마진 밖에 있으면 0 입니다. scikit-learn 은 「일부 점이 맞는 가장자리에서 ζᵢ 만큼 떨어져 있어도 되게 한다」고 적습니다.C: ζ 의 합에 매기는 값. 크면 마진을 넘는 점이 비싸고, 작으면 쌉니다(3절).n: 점의 수.Σζᵢ는 ζ₁ 부터 ζₙ 까지 더한 것입니다.
마진의 폭이 2 ÷ ‖w‖ 인 까닭. 점 x 에서 선 wᵀx + b = 0 까지의 거리는 |wᵀx + b| ÷ ‖w‖ 입니다(점수를 화살표 w 의 길이로 나눈 것). 마진 경계 위의 점은 wᵀx + b 가 +1 이나 −1 이므로 선까지 1 ÷ ‖w‖, 두 가장자리 사이는 2 ÷ ‖w‖ 입니다. 그래서 마진을 넓히는 것은 ‖w‖ 를, 곧 첫 항 ½·wᵀw 를 줄이는 것과 같습니다.
손으로 확인. 실험 ① 의 답은 w = (1/3, 2/3), b = 0 입니다. ‖w‖ = √(1/9 + 4/9) = √5 ÷ 3 = 0.745, 폭은 2 ÷ 0.745 = 2.68 입니다. 점 (1, 1) 은 1/3 + 2/3 + 0 = 1 이라 위쪽 가장자리에, 점 (−1, −1) 은 −1 이라 아래쪽 가장자리에 있습니다. 14점 모두 yᵢ(wᵀxᵢ + b) ≥ 1 이라 ζ 는 모두 0 이고, 원문제의 값은 ½ × 5/9 = 0.278 입니다. 자료를 곧은 선으로 가를 수 있고 C 가 아주 크면 ζ 를 하나라도 남기는 것이 비싸서, 모든 점을 마진 밖에 두는 가장 넓은 마진, 곧 실험 ① 의 답이 나옵니다.
3. 소프트 마진과 C
점 하나가 다른 클래스 쪽에 끼어 있으면 그 점까지 맞히려고 마진이 아주 좁아지거나, 곧은 선으로는 아예 못 가르게 됩니다. 그래서 원문제는 ζᵢ 를 두어 몇 점이 마진 안이나 반대편에 들어가는 것을 허용합니다. 마진을 넘는 점이 있어도 되는 SVM 을 소프트 마진이라고 부릅니다. 이때 서포트 벡터는 마진 경계에 닿은 점과 마진 안에 든 점입니다.
얼마나 허용할지는 C 가 정합니다. scikit-learn 은 C 를 규제의 세기를 거꾸로 적은 값이라고 설명합니다. C 가 작으면 결정 경계가 매끄럽고, C 가 크면 훈련 점을 모두 맞게 가르려 합니다. 큰 C 는 점 하나에 선이 휘둘리는 쪽, 곧 과적합 쪽입니다.
C: 왼쪽이 작게, 오른쪽이 크게(0.01 ~ 100)
끄는 점 P
( , )
점선 고리를 두른 초록 점 P 를 끌거나 숫자 칸으로 옮기세요. 나머지 14점은 실험 ① 과 같습니다. 막대는 C 를 0.01 에서 100 까지 열 배마다 같은 간격으로 바꿉니다. 먹색 굵은 선이 경계선, 옅은 파랑 띠와 점선이 마진, 검은 테두리가 서포트 벡터(마진에 닿거나 마진 안에 든 점)입니다. 바꿀 때마다 2절의 원문제를 부분 경사 하강으로 2만 걸음 다시 풉니다. ζ 의 합은 꺾인 곳이 있어 기울기가 하나로 정해지지 않는 자리가 있는데, 그런 곳에서는 한쪽 기울기를 골라 내려가는 경사 하강입니다. 근사라서 숫자의 끝자리가 정확한 답과 조금 다를 수 있고, 마진 경계에서 0.05 안쪽이면 닿은 것으로 셉니다.
해 볼 것. ① 처음(P = (−1.5, 1.5), C = 1)에 P 는 실험 ① 의 마진 안에 있습니다(x₁ + 2x₂ = 1.5 로 3 보다 작다). 선이 돌아 0.29×x₁ + 0.86×x₂ + 0.14 = 0 이 되면서 P 까지 마진 밖에 두고, 마진 폭은 2.68 에서 2.21 로 좁아집니다. 마진 안에 든 점은 0개, 서포트 벡터는 3개입니다. C 를 100 으로 올려도 같습니다. 이미 모든 점이 마진 밖이라 더 맞힐 것이 없습니다. ② C 를 0.1 로 내리면 마진 폭이 3.35 로 넓어지고, 경계선 0.27×x₁ + 0.53×x₂ + 0.2 = 0 은 실험 ① 의 선과 같은 기울기로 돌아옵니다. 대신 P 를 포함한 3점이 마진 안에 들고(P 의 yᵢ(wᵀxᵢ + b) 는 0.6), 서포트 벡터는 7개가 됩니다. ③ C 를 1 로 되돌리고 P 를 (−1.5, −0.5) 로 옮겨 주황 쪽에 두면, P 는 반대편에 남고(반대편 1개) 마진 폭은 2.53 입니다. 여기서 C 를 100 으로 올리면 선이 크게 돌아 1.01×x₁ + 5.03×x₂ + 5.04 = 0 이 되고, P 까지 맞히는 대신 마진 폭이 0.39 로 좁아집니다. 손으로 풀면 x₁ + 5x₂ + 5 = 0, 폭 2 ÷ √26 = 0.39 입니다. ④ P 를 (−1.5, 1.5) 로 되돌리고 C 를 0.01 로 내리면 마진 폭이 7.82 가 되고, 15점 가운데 12점이 마진 안에 들며 서포트 벡터는 14개입니다. ζ 가 거의 값이 들지 않아 마진만 넓히기 때문입니다.
4. 곧은 선으로 못 가를 때: 커널
안쪽 클래스를 바깥 클래스가 둥글게 둘러싼 자료는 어떤 곧은 선으로도 가를 수 없습니다. 이때 점마다 셋째 값 x₁² + x₂²(원점에서의 거리의 제곱)를 붙여 3차원으로 올리면, 안쪽 점은 낮게, 바깥 점은 높게 놓여 평평한 판 하나로 갈립니다.
scikit-learn 사용자 안내는 원문제의 xᵢ 자리에 φ(xᵢ) 를 적고, 훈련 점이 함수 φ 로 더 높은(무한일 수도 있는) 차원의 공간으로 드러나지 않게 옮겨진다고 설명합니다. 위 그림의 φ 는 설명을 위해 손으로 고른 것이고, 실제로 어떤 옮김을 쓸지는 커널로 고릅니다. scikit-learn 이 주는 커널은 넷입니다(⟨x, x′⟩ 는 두 점의 내적).
| 커널 | 식 |
|---|---|
| linear(선형) | ⟨x, x′⟩ |
| polynomial(다항식) | (γ⟨x, x′⟩ + r)^d |
| rbf | exp(−γ‖x − x′‖²) |
| sigmoid | tanh(γ⟨x, x′⟩ + r) |
x, x′: 두 점.γ(감마),r,d: 사람이 정하는 값. γ 는 크기를 맞추는 수, r 은 더하는 수, d 는 거듭제곱의 차수입니다.‖x − x′‖: 두 점 사이의 거리.
실험 ① ② 는 linear 커널, 곧 옮기지 않은 원래 평면에서 푼 것입니다. rbf 커널이 무엇을 하는지는 RBF 쪽에서 종 모양 혹을 직접 끌어 보며 이어집니다.
5. 언제 무엇을: 좋은 점과 나쁜 점
scikit-learn 사용자 안내가 적은 SVM 의 좋은 점과 나쁜 점입니다.
| 내용 | 이 쪽에서 보면 | |
|---|---|---|
| 좋은 점 | 차원이 높은 공간에서 효과적이다 | 입력이 둘인 실험도 수천인 자료도 같은 원문제를 푼다 |
| 좋은 점 | 차원 수가 표본 수보다 많아도 효과적이다 | |
| 좋은 점 | 결정 함수에 훈련 점의 일부(서포트 벡터)만 써서 기억을 아낀다 | 실험 ① 에서 14점 가운데 4점 |
| 좋은 점 | 커널을 바꿔 여러 모양의 경계를 만들 수 있다 | 4절 |
| 나쁜 점 | 특징 수가 표본 수보다 훨씬 많으면, 과적합을 피하려면 커널과 규제(C) 고르기가 중요하다 | 3절의 C, 과적합 |
| 나쁜 점 | 확률을 바로 내지 않는다. scikit-learn 은 비싼 5겹 교차 검증으로 셈한다 | 확률이 꼭 필요하면 확률을 내는 로지스틱 회귀와 비교한다 |
6. 파이썬으로
# 파이썬(scikit-learn)으로 실험 ① 의 14점을 선형 SVM 으로 가르기
from sklearn.svm import SVC
X = [[1, 1], [3, 0], [2, 2], [0, 3], [4, 1.5], [1.5, 3.5], [3.5, 3],
[-1, -1], [1, -2], [-2, -2], [-3.5, -0.5], [0, -3.5], [-2, -3.5], [2.5, -3.5]]
y = [1, 1, 1, 1, 1, 1, 1, -1, -1, -1, -1, -1, -1, -1] # 초록 = 1, 주황 = −1
model = SVC(kernel="linear", C=1.0).fit(X, y)
print(model.support_vectors_) # 서포트 벡터: 결정 함수를 정하는 점들
어디에 쓰나
점들을 클래스로 가르는 분류에 씁니다. 경계선의 식은 로지스틱 회귀와 같고, 마진이 가장 넓은 선을 고르는 것이 다릅니다(1절). 5절 표처럼 차원이 높은 자료, 차원 수가 표본 수보다 많은 자료에서도 효과적이고, 결정 함수에 서포트 벡터만 써서 기억을 아낍니다. 곧은 선으로 못 가르는 자료는 커널을 바꿔 가릅니다(4절, RBF). 확률이 꼭 필요하면 확률을 바로 내는 로지스틱 회귀와 비교하고, C 와 γ 같은 값은 하이퍼파라미터 찾기의 코드처럼 검증 점수로 고릅니다.
자주 묻는 것
SVM 과 로지스틱 회귀는 무엇이 다른가요?
둘 다 곧은 경계선 w₁x₁ + w₂x₂ + b = 0 을 긋습니다. 로지스틱 회귀는 모든 점의 손실을 평균해 선을 정하고 확률을 냅니다. SVM 은 가장 가까운 점까지의 마진이 가장 넓은 선을 고르고, 그 선은 서포트 벡터만으로 정해집니다. SVM 은 확률을 바로 내지 않습니다. scikit-learn 은 확률을 비싼 5겹 교차 검증으로 셈합니다.
C 는 어떻게 고르나요?
C 는 규제의 세기를 거꾸로 적은 값입니다. 작으면 경계가 매끄럽고 넓은 마진을 지키며, 크면 훈련 점을 모두 맞히려 합니다. 큰 C 에서는 점 하나 때문에 선이 크게 돌 수 있습니다. 몇 가지 값을 놓고 떼어 둔 자료에서 가장 잘 맞는 값을 고릅니다.
서포트 벡터가 아닌 점은 쓸모가 없나요?
학습이 끝난 뒤의 결정 함수에는 쓰이지 않아서, SVM 은 서포트 벡터만 들고 있으면 됩니다. 다만 어느 점이 서포트 벡터인지는 모든 점을 놓고 풀어야 알 수 있고, 새 점이 마진 안으로 들어오면 서포트 벡터가 바뀝니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 가장 가까운 점까지의 거리, 선 양옆의 마진 | 마진(margin) |
| 띠의 가장자리 | 마진 경계(margin boundary) |
| 띠에 닿거나 띠 안에 든 점 | 서포트 벡터(support vector) |
| 경계선(입력이 셋 이상이면 평평한 판) | 결정 경계(decision boundary), 초평면(hyperplane) |
| 모든 점을 띠 밖에 두는 SVM | 하드 마진(hard margin) |
| 띠를 넘는 점을 허용하는 SVM | 소프트 마진(soft margin) |
| ζᵢ, 맞는 쪽 가장자리에서 모자란 만큼 | 슬랙 변수(slack variable) |
| 원문제 | 원문제, 주 문제(primal problem) |
| C, 규제의 세기를 거꾸로 적은 값 | 규제 매개변수(regularization parameter). scikit-learn 은 inverse regularization parameter |
| 꺾인 곳에서 한쪽 기울기를 골라 내려가기 | 부분 경사 하강(subgradient descent) |
| 더 높은 차원으로 옮기는 함수 φ 를 고르는 것 | 커널(kernel): linear, polynomial, rbf, sigmoid |
| 처음 보는 자료에서 틀리는 정도 | 일반화 오차(generalization error) |
출처
- scikit-learn 사용자 안내, Support Vector Machines. 초평면, 마진과 일반화 오차, 서포트 벡터, 원문제와 ζ, C, 커널 넷, 좋은 점과 나쁜 점.