RBF: 종 모양 함수로 곡면 만들기

점 몇 개가 있고, 점 사이의 값을 메우고 싶습니다. 점마다 종 모양 혹을 하나씩 세우고 높이를 맞춰 더하면 모든 점을 지나는 매끄러운 곡선이 됩니다. 점을 끌고 폭을 바꾸며 혹이 어떻게 겹치는지 보세요.

한 줄 답. RBF(방사 기저 함수)는 중심(center)에서 멀어질수록 작아지는 혹입니다. 가장 많이 쓰는 가우스 RBF 는 φ(x) = exp(−‖x − c‖² ÷ (2σ²)) 로, 중심 c 에서 1 이고 폭 σ 를 넘어가면 빠르게 0 이 됩니다. 이런 혹을 여러 곳에 세우고 가중치를 곱해 더하면(f(x) = Σ wᵢ·φᵢ(x)) 점을 잇는 곡선이나 곡면이 됩니다. 같은 혹이 RBF 신경망의 은닉층, SVM 의 RBF 커널, 흩어진 측정값 사이를 메우는 보간에 쓰입니다.

( , )

초록 동그라미가 점(지어낸 자료 6개)이고 끌어서 옮길 수 있습니다. 점을 고르고 숫자 칸으로 고쳐도 됩니다. 보라 가는 선은 점마다 세운 혹 wᵢ·φᵢ(x), 굵은 먹색 선은 그 합 f(x), 주황 막대는 고른 점에서 폭 σ 만큼의 길이입니다. 「좁음·넓음」은 이 실험의 어림 기준입니다(σ 가 점 간격 평균의 1/3 보다 좁으면 좁음, 곡선이 점에서 0.3 넘게 빗나가면 넓음). 가중치를 구할 때 아주 작은 수 λ = 0.01 을 더해 풀어서(5절), 폭이 알맞을 때도 곡선이 점을 아주 조금 비켜 갑니다.

해 볼 것. ① 처음(σ = 1)에는 곡선이 여섯 점을 거의 지납니다(가장 많이 빗나간 거리 0.05). 가중치는 −0.2, 3.74, −0.82, 5.02, −1.18, 3.29 로 1·3·5번이 음수입니다. 이웃 혹이 겹쳐 올려 준 높이를 빼느라 그렇습니다. ② σ 를 0.3 으로 줄이면 「좁음」이 됩니다. 점마다 뾰족한 봉우리가 서고, 1번과 2번 점 사이 가운데(x = 1.75)에서 곡선이 0.2 까지 내려옵니다(두 점의 높이는 1 과 3.5). 가중치 0.99, 3.47, 1.98, 4.46, 1.49, 2.97 은 점의 높이 1, 3.5, 2, 4.5, 1.5, 3 과 거의 같습니다. 혹이 겹치지 않아 저마다 자기 점만 맡기 때문입니다. ③ σ 를 2 로 넓히면 「넓음」이 됩니다. 곡선이 점에서 0.68 까지 빗나가고 가장 큰 |w| 가 67.63 으로 커집니다. 3 이면 빗나감 1.43, 가장 큰 |w| 143.27 이고 곡선이 납작하게 뭉개집니다. ④ 점 하나를 다른 점 바로 위나 아래로 끌어 같은 x 에 두어 보세요. λ 덕분에 계산이 멈추지 않습니다.

1. RBF 란: 중심에서 멀어질수록 작아지는 혹

방사 기저 함수(radial basis function, RBF)는 값이 중심 c 까지의 거리 하나로만 정해지는 함수입니다. 방향은 보지 않습니다. 중심에서 같은 거리에 있는 x 는 모두 같은 값을 받습니다. 그래서 1차원에서는 좌우가 같은 모양이고, 2차원에서는 등고선이 원입니다.

가장 많이 쓰는 모양은 가우스 RBF, 곧 종 모양입니다.

φ(x) = exp(−‖x − c‖² ÷ (2σ²))
   c       중심
   σ       폭. 클수록 넓게 퍼진다
   ‖x − c‖ x 와 c 사이의 거리. 1차원이면 |x − c|, 여러 차원이면 √((x₁ − c₁)² + (x₂ − c₂)² + …)

혹 하나로는 할 수 있는 일이 적습니다. 중심을 여러 곳에 두고 혹마다 가중치 wᵢ 를 곱해 더하면 여러 모양을 만들 수 있습니다.

f(x) = w₁·φ₁(x) + w₂·φ₂(x) + … + w_n·φ_n(x) = Σ wᵢ·exp(−‖x − cᵢ‖² ÷ (2σ²))

위 실험이 이 식입니다. 점마다 그 점의 x 를 중심으로 하는 혹을 세우고(보라), 모두 더한 것이 먹색 곡선입니다. 입력이 2차원이면 혹은 둥근 언덕이 되고 더한 것은 곡면이 됩니다. 그래서 「곡면 만들기」입니다.

가우스 말고도 RBF 는 여럿입니다. 거리를 r 이라 하면 r²·log r 인 thin-plate spline, −√(1 + r²) 인 multiquadric 같은 것이 있고, SciPy 의 RBFInterpolator 는 thin-plate spline 이 기본입니다. 이 쪽은 가우스만 다룹니다.

2. 식이 만들어지는 과정

거리 하나에서 출발해 다섯 번 바꾸면 종이 되고, 마지막에 혹들을 더합니다. 중심 c 는 위 실험에서 고른 점(처음에는 3번 점, x = 4)의 x 이고, 폭 σ 도 위 실험의 막대 값을 그대로 씁니다.

  1. 거리 ‖x − c‖. 방향을 버리고 얼마나 먼지만 남깁니다. c 에서 꺾인 V 자입니다.
  2. 제곱 ‖x − c‖². 꺾인 곳 없이 매끄러운 그릇이 되고, 여러 차원에서 √ 를 풀 수 있습니다.
  3. 음수로 −‖x − c‖². 그릇을 뒤집어 중심이 가장 높게 합니다.
  4. exp exp(−‖x − c‖²). 0 은 1 로, 멀리는 0 으로 갑니다. 0 과 1 사이의 종이 됩니다.
  5. 폭으로 나누기 exp(−‖x − c‖² ÷ (2σ²)). σ 로 종의 폭을 고릅니다. c 에서 σ 떨어진 곳의 높이는 늘 exp(−1/2) ≈ 0.61 입니다.
  6. 가중합 f(x) = Σ wᵢ·φᵢ(x). 혹마다 높이를 정해 더합니다. 가중치는 4절처럼 연립방정식으로 구합니다.

해 볼 것. ⑤ 단계에서 위 실험의 폭 막대를 0.3 이나 3 으로 바꿔 보세요. 종이 좁아지거나 넓어져도, c 에서 σ 떨어진 곳의 높이는 0.61 그대로입니다. 위 실험에서 다른 점을 고르면 중심 c 가 그 점으로 옮겨 갑니다.

3. 꼭 알아야 할 성질

성질쉬운 말실험에서
중심에서 1, 멀어지면 0거리 0 에서 1, σ 에서 0.607, 2σ 에서 0.135, 3σ 에서 0.011. 멀리 있는 점에는 거의 영향을 주지 않는다2절 ④·⑤ 단계
거리만 본다방향과 상관없이 같은 거리면 같은 값. 그래서 1차원이든 100차원이든 식이 같다2절 ① 단계
폭 하나가 영향 범위를 정한다σ 가 크면 넓게, 작으면 좁게. γ = 1 ÷ (2σ²) 로 적기도 한다. σ 가 두 배면 γ 는 1/4폭 막대
점의 위치가 모두 다르면 답이 하나 있다가우스 혹으로 만든 행렬은 양의 정부호라, 가중치를 구하는 연립방정식은 늘 답이 하나다. 같은 x 에 점이 둘이면 두 식이 부딪쳐 풀 수 없다해 볼 것 ④
이론과 계산은 다르다폭이 넓으면 답이 있어도 행렬이 거의 풀 수 없는 상태(나쁜 조건)가 되어 가중치가 터진다5절

4. 손으로 풀어 보기: 점 둘

점 둘 (1, 2) 와 (3, 1) 을 σ = 1 인 혹 둘로 잇습니다. 중심은 c₁ = 1, c₂ = 3 입니다. 여기서는 λ 없이 풉니다.

  1. 혹끼리 겹친 정도. 두 중심 사이의 거리는 2 입니다. exp(−2² ÷ (2·1²)) = exp(−2) ≈ 0.1353. 자기 자신까지는 거리 0 이라 exp(0) = 1.
  2. 식 세우기. 「x = 1 에서 곡선 = 2」와 「x = 3 에서 곡선 = 1」: w₁·1 + w₂·0.1353 = 2, w₁·0.1353 + w₂·1 = 1.
  3. 풀기. w₁ = (2 − 0.1353·1) ÷ (1 − 0.1353²) = 1.8647 ÷ 0.9817 ≈ 1.8995, w₂ = (1 − 0.1353·2) ÷ 0.9817 ≈ 0.7429.
  4. 확인. x = 1 에서 1.8995·1 + 0.7429·0.1353 = 1.8995 + 0.1005 = 2. 점을 지납니다.
  5. 점 사이. x = 2 는 두 중심에서 1 씩 떨어져 있어 두 혹 모두 exp(−1/2) ≈ 0.6065 입니다. f(2) = 0.6065 × (1.8995 + 0.7429) ≈ 1.603. 2 와 1 사이의 값이 나왔습니다.

점이 n 개면 식도 n 개이고, 혹끼리 겹친 정도를 모은 표(행렬 Φ)는 n × n 입니다. 위 실험은 점 6개라 6 × 6 을 같은 방법(가우스 소거)으로 풉니다.

5. 폭 σ(γ)를 잘못 고르면

λ: 점을 꼭 지나지 않아도 되게

위 실험은 Φ 의 대각선에 작은 수 λ = 0.01 을 더해 (Φ + λI)·w = y 를 풉니다. 곡선이 점을 조금 비켜 가도 된다고 허락하는 대신, 같은 x 에 점이 둘이어도 풀리고 넓은 폭에서도 가중치가 터지지 않습니다. λ 없이 풀면 σ = 3 에서 곡선은 점을 모두 지나지만 가장 큰 |w| 가 4147.74 입니다. λ = 0.01 이면 143.27 로 줄고, 대신 곡선이 점에서 1.43 까지 빗나가며 납작해집니다. SciPy 의 RBFInterpolator 에서는 smoothing 값이 같은 구실을 합니다. 문서의 말로 0 이면 점을 정확히 지나고, 크게 하면 다항식을 최소제곱으로 맞춘 것에 가까워집니다.

폭은 어떻게 고르나

정답을 주는 식은 없습니다. 몇 가지 값을 놓고 떼어 둔 자료에서 가장 잘 맞는 값을 고릅니다. SciPy 문서는 그 방법으로 교차 검증을 듭니다. 거리를 재므로 입력의 눈금이 다르면 먼저 표준화합니다. 이 실험에서는 점 간격(평균 1.5)보다 조금 좁은 σ = 1 근처에서 곡선이 점을 지나며 매끄러웠습니다.

6. 세 곳에서 쓰는 같은 혹

보간: 흩어진 점 사이 메우기

위 실험이 이것입니다. 중심은 자료의 점, 가중치는 연립방정식의 답입니다. 점을 지나는 곡선(곡면)을 만듭니다. 점이 격자에 놓이지 않고 아무 데나 흩어져 있어도 되고, 입력이 2차원·3차원이어도 거리만 바꾸면 같은 식입니다.

RBF 신경망

은닉층이 하나인 신경망입니다. 은닉 뉴런 하나가 혹 하나입니다. 뉴런마다 중심을 하나 갖고, 입력이 그 중심에 얼마나 가까운지를 종 모양으로 냅니다. 출력 칸은 그 값들에 가중치를 곱해 더합니다. 곧 f(x) = Σ wᵢ·φᵢ(x) 그대로입니다. 보간과 다른 점은 중심을 자료의 점마다 두지 않고 몇 개만 고른다는 것입니다(예: 자료를 몇 클러스터로 나눈 뒤 클러스터마다 중심 하나). 중심이 점보다 적으면 모든 점을 지날 수 없으니, 가중치는 빗나감의 제곱합이 가장 작게 구합니다(최소제곱). 중심과 폭을 정해 두면 이것도 연립방정식 한 번이라 경사 하강법으로 오래 학습하지 않아도 됩니다. Broomhead 와 Lowe 의 논문은 신경망의 학습을 높은 차원의 곡면을 자료에 맞추는 일로, 일반화를 아는 점 사이의 보간으로 보고, 그 보간을 그대로 드러내는 신경망을 내놓았습니다.

SVM 의 RBF 커널

SVM(서포트 벡터 머신)은 두 클래스(class)를 가르는 경계를 찾습니다. RBF 커널을 쓰면 새 점 x 의 점수가 이렇게 나옵니다(scikit-learn 문서).

점수(x) = Σ yᵢ·αᵢ·K(xᵢ, x) + b      K(xᵢ, x) = exp(−γ‖xᵢ − x‖²),  γ > 0
점수의 부호가 + 면 한쪽 클래스, − 면 다른 클래스

모양이 위의 가중합과 같습니다. 학습 자료 xᵢ 마다 혹을 세우고, 클래스 레이블 yᵢ(+1 또는 −1)와 αᵢ 를 곱해 더합니다. 점수가 0 인 곳이 경계입니다. 다른 점은 둘입니다. 하나, 가중치 αᵢ 를 연립방정식이 아니라 두 클래스 사이의 마진을 넓히는 최적화로 구합니다. 둘, 그 결과 대부분의 αᵢ 가 0 이 되어 마진 안에 놓인 점(서포트 벡터)의 혹만 남습니다. γ = 1 ÷ (2σ²) 이므로 γ 가 크면 혹이 좁습니다. scikit-learn 의 예제는 γ 를 학습 자료 하나의 영향이 얼마나 멀리 닿는가로 설명합니다.

책에서는 이것을 「커널 트릭」으로 설명합니다. 입력을 아주 높은 차원으로 옮긴 뒤 평평한 면으로 가르는 것과 같은 일을, 옮기지 않고 K 만 계산해서 한다는 뜻입니다. 결과는 원래 입력에서 휘어진 경계입니다. 직선으로 가르는 로지스틱 회귀와 비교해 보세요.

7. 자료가 많거나 차원이 높을 때

어디에 쓰나

언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
RBF 보간점을 정확히 지난다. 점이 흩어져 있어도, 2·3차원이어도 같은 식. 학습 없이 연립방정식 한 번점 n 개면 n × n 표(메모리 n²). 폭을 골라야 하고 넓으면 계산이 흔들린다. 측정 오차까지 따라간다측정 지점 사이의 값 메우기. 점이 많아야 수천 개, 입력이 2~3차원
RBF 신경망중심과 폭을 정하면 출력 가중치는 최소제곱 한 번. 뉴런 하나의 뜻(이 중심에 가까운가)이 읽힌다중심을 어디에 몇 개 둘지 따로 정해야 한다. 차원이 높으면 혹이 아주 많이 필요하다입력이 적은 매끄러운 함수 근사. 빨리 만들어 볼 때
RBF 커널 SVM휘어진 경계를 그린다. 주로 고를 값이 C 와 γ 둘. 서포트 벡터만 남는다학습 시간이 자료 수의 제곱 이상으로 늘어 수만 개를 넘으면 어렵다. γ 와 C 에 민감하다자료가 수만 개 안쪽인 분류. 입력을 표준화한 표 자료
보통의 신경망자료를 작은 배치(batch)씩 넣어 큰 자료도 배운다. 그림·글처럼 입력이 큰 자료에서 특징을 스스로 배운다층 수, 학습률 등 고를 것이 많고 학습이 오래 걸린다. 점을 정확히 지나게 만들지 않는다자료가 많을 때. 그림, 소리, 글

자주 묻는 것

σ 와 γ 는 무엇이 다른가요?

같은 폭을 두 가지로 적은 것입니다. γ = 1 ÷ (2σ²) 라서 σ 가 크면(넓은 혹) γ 가 작습니다. scikit-learn 의 SVC 는 gamma 를 받습니다. SciPy 의 RBFInterpolator 는 거리에 곱하는 epsilon 을 받아 exp(−(ε·r)²) 를 쓰므로 ε = 1 ÷ (√2·σ) 입니다. 라이브러리를 바꿀 때는 폭을 어느 쪽으로 적었는지 먼저 봅니다.

폭은 어떻게 고르나요?

정답을 주는 식은 없습니다. 몇 가지 값을 놓고 떼어 둔 자료에서 가장 잘 맞는 값을 고릅니다(교차 검증). 거리를 재므로 입력의 눈금이 다르면 먼저 표준화합니다. 너무 좁으면 점마다 봉우리가 서고, 너무 넓으면 계산이 흔들리거나 곡선이 뭉개집니다.

RBF 신경망과 보통의 신경망은 무엇이 다른가요?

RBF 신경망의 은닉 뉴런은 입력이 자기 중심에 얼마나 가까운지를 종 모양으로 내서, 중심 근처에서만 반응합니다. 보통 신경망의 뉴런은 입력에 가중치를 곱해 더한 값을 꺾어 내서(예: ReLU), 어떤 경계의 한쪽 전체에서 반응합니다. RBF 신경망은 중심과 폭을 정하면 출력 가중치를 연립방정식으로 한 번에 풀 수 있고, 보통 신경망은 모든 가중치를 경사 하강법으로 함께 배웁니다.

낱말

여기서 쓴 말책에서 부르는 말
종 모양 혹가우스 방사 기저 함수(Gaussian radial basis function, Gaussian RBF), 가우스 커널(Gaussian kernel)
거리만 보는 함수방사 함수(radial function)
혹의 가운데중심(center)
폭 σ, γ, ε폭(width), 모양 매개변수(shape parameter). SVM 에서는 γ(gamma)
혹마다 곱하는 수가중치(weight), 계수(coefficient)
점을 지나는 곡선(곡면) 만들기보간(interpolation), 흩어진 자료 보간(scattered data interpolation)
혹끼리 겹친 정도를 모은 표 Φ보간 행렬(interpolation matrix), 커널 행렬(kernel matrix)
대각선에 더하는 작은 수 λ평활(smoothing), 규제(regularization)
답은 있지만 거의 풀 수 없는 상태나쁜 조건(ill-conditioned)
늘 답이 하나인 행렬의 성질양의 정부호(positive definite)
빗나감 제곱합을 가장 작게최소제곱(least squares)
마진 안에 놓여 혹을 남기는 점서포트 벡터(support vector)
SVM 의 점수결정 함수(decision function)
옮기지 않고 K 만 계산하기커널 트릭(kernel trick)
떼어 둔 자료로 고르기교차 검증(cross-validation)
영상 맞추기정합(image registration)
차원이 높을수록 덮을 칸이 곱으로 느는 것차원의 저주(curse of dimensionality)

출처

← 서포트 벡터 머신(SVM)신경망 →