서포트 벡터 머신(SVM)

두 클래스(class)를 가르는 곧은 선은 대개 여럿입니다. 그 가운데 어느 선을 고를까요? 서포트 벡터 머신(SVM)은 양쪽 클래스에서 가장 가까운 점까지 가장 멀리 떨어진 선을 고릅니다. 한 걸음씩 넘기며 그 선을 찾아보세요.

한 줄 답. SVM 은 두 클래스를 가르는 선 가운데 양쪽 가장 가까운 점까지의 거리(마진, margin)가 가장 넓은 선을 고릅니다. 그 선을 정하는 것은 마진에 걸친 몇 개의 점(서포트 벡터)뿐입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 점은 지어낸 자료 14점입니다. 파랑, 보라, 회색 선이 후보 A, B, C 이고 선 끝에 이름이 붙어 있습니다. 화살표는 가장 가까운 점에서 선까지 직각으로 잰 거리입니다. 먹색 굵은 선이 마진이 가장 넓은 선, 옅은 파랑 띠와 점선이 마진, 검은 테두리가 서포트 벡터입니다.

1. 마진과 서포트 벡터

SVM 은 점들이 놓인 공간에 초평면(hyperplane)을 세워 클래스를 가릅니다. 입력이 둘이면 초평면은 직선, 셋이면 평평한 판, 그보다 많으면 한 차원 낮은 평평한 판입니다. 이 쪽의 실험은 입력이 둘이라 직선입니다. 경계선의 식은 로지스틱 회귀와 같은 w₁x₁ + w₂x₂ + b = 0 입니다. 다른 것은 어느 선을 고르나입니다.

위 실험의 A, B, C 는 14점을 모두 맞힙니다. 맞히기만으로는 고를 수 없습니다. scikit-learn 사용자 안내는 이렇게 고릅니다: 어느 클래스든 가장 가까운 훈련 점까지의 거리가 가장 큰 초평면이 잘 가른다. 대체로 이 거리(마진)가 클수록 분류기의 일반화 오차가 낮기 때문이다. 실험에서 A, B, C 의 가장 가까운 점까지는 0.71, 0.89, 0.73 이고, 마진이 가장 넓은 선은 1.34 입니다. 양옆을 합친 마진의 폭은 2.68 입니다.

서포트 벡터. 그 선을 정하는 것은 마진 경계에 닿은 점 넷, (1, 1), (3, 0), (−1, −1), (1, −2) 뿐입니다. scikit-learn 의 말로는 결정 함수가 훈련 자료의 일부, 곧 서포트 벡터에만 기댑니다. 나머지 10점은 마진 밖에 있어서, 지우거나 마진 밖에서 옮겨도 선이 그대로입니다. 이 쪽의 자가 검사는 서포트 벡터 넷만 남기고 다시 풀어 같은 선이 나오는지 확인합니다.

2. 식: 원문제

scikit-learn 사용자 안내가 적는 SVM 의 원문제(primal problem)입니다. 아래를 지키면서 첫 줄의 값을 가장 작게 하는 w 와 b 를 찾습니다.

½·wᵀw + C·Σζᵢ  를 가장 작게
지킬 것: yᵢ(wᵀxᵢ + b) ≥ 1 − ζᵢ,  ζᵢ ≥ 0   (i = 1, 2, …, n)

마진의 폭이 2 ÷ ‖w‖ 인 까닭. 점 x 에서 선 wᵀx + b = 0 까지의 거리는 |wᵀx + b| ÷ ‖w‖ 입니다(점수를 화살표 w 의 길이로 나눈 것). 마진 경계 위의 점은 wᵀx + b 가 +1 이나 −1 이므로 선까지 1 ÷ ‖w‖, 두 가장자리 사이는 2 ÷ ‖w‖ 입니다. 그래서 마진을 넓히는 것은 ‖w‖ 를, 곧 첫 항 ½·wᵀw 를 줄이는 것과 같습니다.

손으로 확인. 실험 ① 의 답은 w = (1/3, 2/3), b = 0 입니다. ‖w‖ = √(1/9 + 4/9) = √5 ÷ 3 = 0.745, 폭은 2 ÷ 0.745 = 2.68 입니다. 점 (1, 1) 은 1/3 + 2/3 + 0 = 1 이라 위쪽 가장자리에, 점 (−1, −1) 은 −1 이라 아래쪽 가장자리에 있습니다. 14점 모두 yᵢ(wᵀxᵢ + b) ≥ 1 이라 ζ 는 모두 0 이고, 원문제의 값은 ½ × 5/9 = 0.278 입니다. 자료를 곧은 선으로 가를 수 있고 C 가 아주 크면 ζ 를 하나라도 남기는 것이 비싸서, 모든 점을 마진 밖에 두는 가장 넓은 마진, 곧 실험 ① 의 답이 나옵니다.

3. 소프트 마진과 C

점 하나가 다른 클래스 쪽에 끼어 있으면 그 점까지 맞히려고 마진이 아주 좁아지거나, 곧은 선으로는 아예 못 가르게 됩니다. 그래서 원문제는 ζᵢ 를 두어 몇 점이 마진 안이나 반대편에 들어가는 것을 허용합니다. 마진을 넘는 점이 있어도 되는 SVM 을 소프트 마진이라고 부릅니다. 이때 서포트 벡터는 마진 경계에 닿은 점과 마진 안에 든 점입니다.

얼마나 허용할지는 C 가 정합니다. scikit-learn 은 C 를 규제의 세기를 거꾸로 적은 값이라고 설명합니다. C 가 작으면 결정 경계가 매끄럽고, C 가 크면 훈련 점을 모두 맞게 가르려 합니다. 큰 C 는 점 하나에 선이 휘둘리는 쪽, 곧 과적합 쪽입니다.

C: 왼쪽이 작게, 오른쪽이 크게(0.01 ~ 100)

끄는 점 P

( , )

점선 고리를 두른 초록 점 P 를 끌거나 숫자 칸으로 옮기세요. 나머지 14점은 실험 ① 과 같습니다. 막대는 C 를 0.01 에서 100 까지 열 배마다 같은 간격으로 바꿉니다. 먹색 굵은 선이 경계선, 옅은 파랑 띠와 점선이 마진, 검은 테두리가 서포트 벡터(마진에 닿거나 마진 안에 든 점)입니다. 바꿀 때마다 2절의 원문제를 부분 경사 하강으로 2만 걸음 다시 풉니다. ζ 의 합은 꺾인 곳이 있어 기울기가 하나로 정해지지 않는 자리가 있는데, 그런 곳에서는 한쪽 기울기를 골라 내려가는 경사 하강입니다. 근사라서 숫자의 끝자리가 정확한 답과 조금 다를 수 있고, 마진 경계에서 0.05 안쪽이면 닿은 것으로 셉니다.

해 볼 것. ① 처음(P = (−1.5, 1.5), C = 1)에 P 는 실험 ① 의 마진 안에 있습니다(x₁ + 2x₂ = 1.5 로 3 보다 작다). 선이 돌아 0.29×x₁ + 0.86×x₂ + 0.14 = 0 이 되면서 P 까지 마진 밖에 두고, 마진 폭은 2.68 에서 2.21 로 좁아집니다. 마진 안에 든 점은 0개, 서포트 벡터는 3개입니다. C 를 100 으로 올려도 같습니다. 이미 모든 점이 마진 밖이라 더 맞힐 것이 없습니다. ② C 를 0.1 로 내리면 마진 폭이 3.35 로 넓어지고, 경계선 0.27×x₁ + 0.53×x₂ + 0.2 = 0 은 실험 ① 의 선과 같은 기울기로 돌아옵니다. 대신 P 를 포함한 3점이 마진 안에 들고(P 의 yᵢ(wᵀxᵢ + b) 는 0.6), 서포트 벡터는 7개가 됩니다. ③ C 를 1 로 되돌리고 P 를 (−1.5, −0.5) 로 옮겨 주황 쪽에 두면, P 는 반대편에 남고(반대편 1개) 마진 폭은 2.53 입니다. 여기서 C 를 100 으로 올리면 선이 크게 돌아 1.01×x₁ + 5.03×x₂ + 5.04 = 0 이 되고, P 까지 맞히는 대신 마진 폭이 0.39 로 좁아집니다. 손으로 풀면 x₁ + 5x₂ + 5 = 0, 폭 2 ÷ √26 = 0.39 입니다. ④ P 를 (−1.5, 1.5) 로 되돌리고 C 를 0.01 로 내리면 마진 폭이 7.82 가 되고, 15점 가운데 12점이 마진 안에 들며 서포트 벡터는 14개입니다. ζ 가 거의 값이 들지 않아 마진만 넓히기 때문입니다.

4. 곧은 선으로 못 가를 때: 커널

안쪽 클래스를 바깥 클래스가 둥글게 둘러싼 자료는 어떤 곧은 선으로도 가를 수 없습니다. 이때 점마다 셋째 값 x₁² + x₂²(원점에서의 거리의 제곱)를 붙여 3차원으로 올리면, 안쪽 점은 낮게, 바깥 점은 높게 놓여 평평한 판 하나로 갈립니다.

+ x₁² + x₂² x₁² + x₂² x₁ 높이 3.5 의 판 전: 평면 (x₁, x₂) 후: 옆에서 본 모습
왼쪽: 안쪽 클래스(초록 동그라미)를 바깥 클래스(주황 네모)가 둘러싸서 어떤 곧은 선으로도 못 가릅니다. 오른쪽: 점마다 x₁² + x₂² 를 셋째 축으로 붙여 올리고 옆에서 본 모습입니다. 안쪽 점은 0.25 ~ 0.65, 바깥 점은 5.76 ~ 7.84 높이에 놓여 높이 3.5 의 평평한 판 하나로 갈립니다. 그 판을 원래 평면으로 내리면 왼쪽의 점선 원(x₁² + x₂² = 3.5)이 됩니다. 점은 지어낸 것입니다.

scikit-learn 사용자 안내는 원문제의 xᵢ 자리에 φ(xᵢ) 를 적고, 훈련 점이 함수 φ 로 더 높은(무한일 수도 있는) 차원의 공간으로 드러나지 않게 옮겨진다고 설명합니다. 위 그림의 φ 는 설명을 위해 손으로 고른 것이고, 실제로 어떤 옮김을 쓸지는 커널로 고릅니다. scikit-learn 이 주는 커널은 넷입니다(⟨x, x′⟩ 는 두 점의 내적).

커널식
linear(선형)⟨x, x′⟩
polynomial(다항식)(γ⟨x, x′⟩ + r)^d
rbfexp(−γ‖x − x′‖²)
sigmoidtanh(γ⟨x, x′⟩ + r)

실험 ① ② 는 linear 커널, 곧 옮기지 않은 원래 평면에서 푼 것입니다. rbf 커널이 무엇을 하는지는 RBF 쪽에서 종 모양 혹을 직접 끌어 보며 이어집니다.

5. 언제 무엇을: 좋은 점과 나쁜 점

scikit-learn 사용자 안내가 적은 SVM 의 좋은 점과 나쁜 점입니다.

내용이 쪽에서 보면
좋은 점차원이 높은 공간에서 효과적이다입력이 둘인 실험도 수천인 자료도 같은 원문제를 푼다
좋은 점차원 수가 표본 수보다 많아도 효과적이다
좋은 점결정 함수에 훈련 점의 일부(서포트 벡터)만 써서 기억을 아낀다실험 ① 에서 14점 가운데 4점
좋은 점커널을 바꿔 여러 모양의 경계를 만들 수 있다4절
나쁜 점특징 수가 표본 수보다 훨씬 많으면, 과적합을 피하려면 커널과 규제(C) 고르기가 중요하다3절의 C, 과적합
나쁜 점확률을 바로 내지 않는다. scikit-learn 은 비싼 5겹 교차 검증으로 셈한다확률이 꼭 필요하면 확률을 내는 로지스틱 회귀와 비교한다

6. 파이썬으로

# 파이썬(scikit-learn)으로 실험 ① 의 14점을 선형 SVM 으로 가르기
from sklearn.svm import SVC
X = [[1, 1], [3, 0], [2, 2], [0, 3], [4, 1.5], [1.5, 3.5], [3.5, 3],
     [-1, -1], [1, -2], [-2, -2], [-3.5, -0.5], [0, -3.5], [-2, -3.5], [2.5, -3.5]]
y = [1, 1, 1, 1, 1, 1, 1, -1, -1, -1, -1, -1, -1, -1]   # 초록 = 1, 주황 = −1
model = SVC(kernel="linear", C=1.0).fit(X, y)
print(model.support_vectors_)   # 서포트 벡터: 결정 함수를 정하는 점들

어디에 쓰나

점들을 클래스로 가르는 분류에 씁니다. 경계선의 식은 로지스틱 회귀와 같고, 마진이 가장 넓은 선을 고르는 것이 다릅니다(1절). 5절 표처럼 차원이 높은 자료, 차원 수가 표본 수보다 많은 자료에서도 효과적이고, 결정 함수에 서포트 벡터만 써서 기억을 아낍니다. 곧은 선으로 못 가르는 자료는 커널을 바꿔 가릅니다(4절, RBF). 확률이 꼭 필요하면 확률을 바로 내는 로지스틱 회귀와 비교하고, C 와 γ 같은 값은 하이퍼파라미터 찾기의 코드처럼 검증 점수로 고릅니다.

자주 묻는 것

SVM 과 로지스틱 회귀는 무엇이 다른가요?

둘 다 곧은 경계선 w₁x₁ + w₂x₂ + b = 0 을 긋습니다. 로지스틱 회귀는 모든 점의 손실을 평균해 선을 정하고 확률을 냅니다. SVM 은 가장 가까운 점까지의 마진이 가장 넓은 선을 고르고, 그 선은 서포트 벡터만으로 정해집니다. SVM 은 확률을 바로 내지 않습니다. scikit-learn 은 확률을 비싼 5겹 교차 검증으로 셈합니다.

C 는 어떻게 고르나요?

C 는 규제의 세기를 거꾸로 적은 값입니다. 작으면 경계가 매끄럽고 넓은 마진을 지키며, 크면 훈련 점을 모두 맞히려 합니다. 큰 C 에서는 점 하나 때문에 선이 크게 돌 수 있습니다. 몇 가지 값을 놓고 떼어 둔 자료에서 가장 잘 맞는 값을 고릅니다.

서포트 벡터가 아닌 점은 쓸모가 없나요?

학습이 끝난 뒤의 결정 함수에는 쓰이지 않아서, SVM 은 서포트 벡터만 들고 있으면 됩니다. 다만 어느 점이 서포트 벡터인지는 모든 점을 놓고 풀어야 알 수 있고, 새 점이 마진 안으로 들어오면 서포트 벡터가 바뀝니다.

낱말

여기서 쓴 말책에서 부르는 말
가장 가까운 점까지의 거리, 선 양옆의 마진마진(margin)
띠의 가장자리마진 경계(margin boundary)
띠에 닿거나 띠 안에 든 점서포트 벡터(support vector)
경계선(입력이 셋 이상이면 평평한 판)결정 경계(decision boundary), 초평면(hyperplane)
모든 점을 띠 밖에 두는 SVM하드 마진(hard margin)
띠를 넘는 점을 허용하는 SVM소프트 마진(soft margin)
ζᵢ, 맞는 쪽 가장자리에서 모자란 만큼슬랙 변수(slack variable)
원문제원문제, 주 문제(primal problem)
C, 규제의 세기를 거꾸로 적은 값규제 매개변수(regularization parameter). scikit-learn 은 inverse regularization parameter
꺾인 곳에서 한쪽 기울기를 골라 내려가기부분 경사 하강(subgradient descent)
더 높은 차원으로 옮기는 함수 φ 를 고르는 것커널(kernel): linear, polynomial, rbf, sigmoid
처음 보는 자료에서 틀리는 정도일반화 오차(generalization error)

출처

← k-평균 군집RBF →