야코비안과 헤시안, 볼록성

입력이 여럿이면 미분도 숫자 하나가 아니라 표가 됩니다. 야코비안은 함수가 그 자리에서 평면을 어떻게 늘리고 돌리는지, 헤시안은 땅이 그 자리에서 어떻게 휘는지 알려 줍니다. 그래디언트가 0 인 곳이 바닥인지, 꼭대기인지, 안장점인지도 헤시안으로 가립니다. 점을 움직여 보세요.

한 줄 답. 야코비안은 「입력 여러 개 → 출력 여러 개」인 함수의 편미분을 모두 모은 표(행렬)입니다. 아주 가까이에서 보면 함수는 이 행렬처럼 평면을 늘리고 돌립니다. 헤시안은 두 번 미분한 값을 모은 표로, 땅이 그 자리에서 어느 방향으로 얼마나 휘는지 말해 줍니다. 그래디언트가 0 인 곳에서 헤시안의 고윳값을 보면 바닥(둘 다 +), 꼭대기(둘 다 −), 안장점(부호가 다름)을 가릴 수 있습니다.

입력 평면. 점 P 를 끕니다
F 가 옮긴 모습
F(P) 둘레를 1/h 배로 확대

점 P (r, θ) = ( , )

P 에서의 야코비안 J

왼쪽 위 그림의 점 P 를 끌거나 칸에 숫자를 넣으세요. 왼쪽 위는 입력 평면, 오른쪽 위는 함수 F 가 그 모눈을 옮긴 모습입니다. 주황 네모는 P 둘레의 한 변 h 인 작은 네모와 그것이 옮겨 간 모양입니다. 아래 그림은 옮겨 간 모양을 F(P) 가 가운데에 오게 놓고 1/h 배로 키운 것입니다. 검은 점선은 야코비안 J 가 같은 네모를 옮긴 평행사변형이고, 초록·파란 화살표는 J 의 첫째 칸과 둘째 칸입니다. 「네모 한 변 h」 막대를 오른쪽으로 옮길수록 h 가 작아지고 두 모양이 겹칩니다.

1. 야코비안: 편미분을 모두 모은 표

미분은 입력 하나, 출력 하나인 함수의 기울기였습니다. 편미분과 그래디언트는 입력이 여럿이고 출력이 하나인 함수(지도 위의 자리 → 땅의 높이)의 기울기였습니다. 이번에는 출력도 여럿인 함수입니다. 실험의 첫 함수는 거리 r 과 각도 θ 를 받아 평면 위의 자리 (x, y) 를 내놓습니다.

F(r, θ) = (r cos θ, r sin θ)   거리와 각도(극좌표)를 보통 좌표로 바꾸는 함수

출력 하나와 입력 하나를 고를 때마다 편미분이 하나씩 있습니다. 출력 2개 × 입력 2개 = 4개입니다. 이것을 표로 늘어놓은 것이 야코비안입니다.

r 만 움직임θ 만 움직임
출력 x∂x/∂r∂x/∂θ
출력 y∂y/∂r∂y/∂θ

2. 손으로 따라 풀기: 극좌표 변환의 야코비안

  1. 출력을 적는다. x = r cos θ, y = r sin θ.
  2. r 로 편미분한다(θ 는 고정). cos θ, sin θ 는 바뀌지 않는 숫자로 봅니다. ∂x/∂r = cos θ, ∂y/∂r = sin θ. 이것이 첫째 칸입니다.
  3. θ 로 편미분한다(r 은 고정). ∂x/∂θ = −r sin θ, ∂y/∂θ = r cos θ. 둘째 칸입니다.
  4. 표로 모은다. 윗줄 cos θ, −r sin θ, 아랫줄 sin θ, r cos θ.
  5. 행렬식을 구한다. cos θ × r cos θ − (−r sin θ) × sin θ = r × (cos²θ + sin²θ) = r. cos²θ + sin²θ 는 늘 1 입니다.
  6. 숫자를 넣는다. r = 2, θ = 0.5(라디안)이면 cos 0.5 ≈ 0.88, sin 0.5 ≈ 0.48 이라 윗줄 0.88, −0.96, 아랫줄 0.48, 1.76. 행렬식은 정확히 2 입니다. 실험의 첫 화면과 같습니다.

뜻: P 가까이의 아주 작은 네모는 넓이가 2배인 평행사변형에 가깝게 옮겨 갑니다. 원점에서 먼 곳(r 이 큰 곳)일수록 같은 각도가 더 긴 호가 되어 넓게 퍼집니다. r = 0 이면 행렬식도 0 입니다. 각도가 무엇이든 원점 한 점으로 모이기 때문입니다.

해 볼 것. 극좌표를 고른 채 ① 처음 그대로(P = (2, 0.5), h = 1)면 행렬식은 2 이고, 옮긴 뒤 넓이 ÷ h² 도 2 입니다. ② P 를 r = 1 로 옮기면 1, r = 3 이면 3 입니다. θ 를 바꿔도 행렬식은 그대로입니다. ③ r = 0 으로 옮기면 행렬식이 0 이고, 아래 그림의 평행사변형이 한 줄로 눌립니다.

3. 가까이에서 보면 행렬이다

휘어진 함수도 아주 가까이에서 보면 행렬 하나가 하는 일과 거의 같습니다. P 에서 작은 화살표 d 만큼 움직이면 출력은 대략 J × d 만큼 움직입니다.

F(P + d) ≈ F(P) + J × d

미분 쪽의 f(x + h) ≈ f(x) + f′(x) × h 를 평면으로 넓힌 것입니다. 거기서는 숫자 f′(x) 를 곱했고, 여기서는 행렬 J 를 곱합니다. 곱하는 법은 행렬 곱셈과 같습니다.

실험의 아래 그림이 이것을 보여 줍니다. 한 변 h 인 네모를 F 로 진짜 옮긴 모양(주황)과 J 로 옮긴 평행사변형(검은 점선)을 같은 배율로 키워 겹쳤습니다. h 가 크면 주황 모양이 휘어 있어 어긋나고, h 를 줄이면 거의 겹칩니다. 어긋난 정도는 h 에 비례해 줄어듭니다.

그래서 행렬식에서 배운 것을 그 자리에 그대로 쓸 수 있습니다.

해 볼 것. ① 극좌표, P = (2, 0.5) 에서 「네모 한 변 h」를 1 → 0.1 → 0.01 로 줄이면 가장 많이 어긋난 곳이 0.365 → 0.035 → 0.004 로 줄어듭니다. h 를 10분의 1 로 하면 어긋남도 거의 10분의 1 입니다. ② 물결을 고르고 P = (0, 0) 에 두면 행렬식은 0.75 입니다. 옮긴 뒤 넓이 ÷ h² 는 h = 2 에서 0.82, h = 1 에서 0.77, h = 0.2 에서 0.75 로 행렬식에 다가갑니다. ③ 접기를 고르고 P 의 x 를 1, 0, −1 로 옮겨 보세요. 행렬식이 2, 0, −2 입니다. −2 에서는 아래 그림의 초록 화살표가 왼쪽을 봅니다.

넓이 배수는 적분에서도 씁니다. 원 모양의 땅을 (x, y) 대신 (r, θ) 로 잘게 나눠 넓이를 더할 때, (r, θ) 의 작은 네모 하나는 실제로는 r 배 넓습니다. 그래서 dx dy 자리에 r dr dθ 를 씁니다. 변수를 바꿔 적분할 때 야코비안 행렬식의 크기를 곱하는 까닭입니다(적분).

4. 연쇄 법칙은 야코비안의 곱

입력 하나짜리 함수에서는 이어진 단계의 기울기를 곱했습니다(연쇄 법칙). 입력과 출력이 여럿이면 기울기 대신 야코비안을 곱합니다. G 를 먼저 하고 F 를 나중에 하면:

F(G(p)) 의 야코비안 = (G(p) 자리에서 잰 F 의 야코비안) × (p 자리에서 잰 G 의 야코비안)

나중 단계가 왼쪽에 옵니다. 바깥 단계의 야코비안은 p 가 아니라 안쪽에서 나온 자리 G(p) 에서 잽니다. 미분 쪽에서 본 것과 같은 함정입니다.

예: G 는 극좌표 변환, F 는 출력이 하나인 F(x, y) = x² + y² 입니다. F 의 야코비안은 한 줄 [2x 2y] 입니다.

  1. 곱한다. 한 줄 × 표: [2x cos θ + 2y sin θ, −2x r sin θ + 2y r cos θ].
  2. x = r cos θ, y = r sin θ 를 넣는다. 첫 칸 2r cos²θ + 2r sin²θ = 2r, 둘째 칸 −2r² cos θ sin θ + 2r² sin θ cos θ = 0.
  3. 확인한다. 결과는 [2r 0]. 먼저 합치면 F(G(r, θ)) = r² cos²θ + r² sin²θ = r² 이고, 바로 미분하면 r 로 2r, θ 로 0 입니다. 같습니다. r = 2 면 [4 0].

역전파는 야코비안을 뒤에서부터 곱하는 일입니다. 신경망은 층마다의 함수를 이은 것이고, 맨 끝의 손실은 숫자 하나입니다. 그래서 맨 끝 야코비안은 한 줄입니다. 뒤에서부터 곱하면 늘 「한 줄 × 행렬 = 한 줄」이라 가볍습니다. 앞에서부터 곱하면 「큰 행렬 × 큰 행렬」을 해야 합니다. 실제 프로그램은 야코비안 행렬을 통째로 만들지도 않고, 「한 줄 × 야코비안」만 바로 계산합니다(벡터-야코비안 곱). 자세한 것은 역전파 쪽에 있습니다.

5. 헤시안: 두 번 미분한 것을 모은 표

이제 출력이 하나인 땅의 높이 f(x, y) 로 돌아옵니다. 그래디언트 (∂f/∂x, ∂f/∂y) 는 그 자리의 기울기입니다. 이 기울기도 자리마다 바뀌니, 한 번 더 x 와 y 로 편미분할 수 있습니다. 나오는 넷을 표로 모은 것이 헤시안입니다.

x 로 한 번 더y 로 한 번 더
∂f/∂x 를f_xxf_xy
∂f/∂y 를f_yxf_yy

헤시안은 그래디언트의 야코비안입니다. 그래디언트도 입력 둘(x, y), 출력 둘(두 편미분)인 함수이기 때문입니다.

어느 한 방향으로 얼마나 휘는지도 헤시안으로 구합니다. 길이 1 인 방향 u 로의 휨은 uᵀ H u(u 와 H u 의 내적)입니다. 이 값이 가장 큰 방향과 가장 작은 방향이 헤시안의 고유 방향이고, 그때의 휨이 고윳값입니다. 헤시안은 대칭이라 고윳값은 늘 실수이고, 두 고유 방향은 서로 직각입니다.

예: f(x, y) = x³ − 3x + y². ∂f/∂x = 3x² − 3, ∂f/∂y = 2y. 한 번 더 미분하면 f_xx = 6x, f_xy = f_yx = 0, f_yy = 2 입니다. P = (0.5, 1) 이면 헤시안은 [3 0 / 0 2](/ 앞이 윗줄, 뒤가 아랫줄)이고, 고윳값은 3(x 방향)과 2(y 방향)입니다.

대각선이 0 이어도 휠 수 있습니다. f = xy 의 헤시안은 [0 1 / 1 0] 입니다. x 쪽, y 쪽으로는 휘지 않지만 고윳값이 1 과 −1 이고, 고유 방향은 (1, 1) 과 (1, −1) 입니다. 대각선 쪽으로는 위로, 반대 대각선 쪽으로는 아래로 휩니다.

입체로 본 땅
위에서 본 등고선 지도. 점 P 를 끕니다

점 P = ( , )

P 에서의 헤시안 H

오른쪽 지도에서 점 P 를 끌거나 칸에 숫자를 넣으세요. 지도의 선은 같은 높이를 이은 등고선이고, 짙을수록 높습니다. 초록 선은 가장 크게 위로 휘는 방향(λ₁), 파란 선은 가장 덜 휘는 방향(λ₂)입니다. 고윳값이 음수(아래로 휨)인 방향은 점선으로 그립니다. 왼쪽 입체 그림의 초록·파란 곡선은 그 방향으로 땅을 자른 단면입니다. 검은 화살표는 그래디언트입니다(길이는 1/4 로 줄임). 「2차 근사 겹쳐 보기」를 켜면 헤시안으로 만든 포물면이 주황 그물로 겹치고, 지도에는 그 포물면이 평평한 곳(뉴턴 방법이 가는 곳)이 주황 고리로 나옵니다.

6. 2계 판정법: 바닥, 꼭대기, 안장점

그래디언트가 (0, 0) 인 곳에서는 어느 쪽으로도 기울지 않습니다. 이런 곳을 임계점(critical point)이라고 합니다. 바닥일 수도, 꼭대기일 수도, 말안장 가운데처럼 한쪽으로는 오르막이고 다른 쪽으로는 내리막인 안장점일 수도 있습니다. 기울기가 0 이라 기울기만으로는 가릴 수 없고, 휨(헤시안)을 봐야 합니다.

임계점 P 에서는 그래디언트가 0 이라, 가까운 곳의 높이는 f(P + d) ≈ f(P) + ½ dᵀ H d 입니다. ½ dᵀ H d 가 모든 방향에서 + 면 어디로 가도 올라갑니다. 고윳값의 부호가 그것을 정합니다. 아래 표가 이 식에서 어떻게 나오는지는 식이 만들어지는 과정에서 그림으로 한 단계씩 봅니다.

헤시안의 고윳값모양예 (원점에서)
둘 다 +바닥(극소). 어느 쪽으로 가도 올라간다x² + y², x² + 4y²
둘 다 −꼭대기(극대). 어느 쪽으로 가도 내려간다−x² − y²
하나는 +, 하나는 −안장점. λ₁ 방향으로는 오르고 λ₂ 방향으로는 내린다x² − y², xy
0 이 있다판정 못 함. 그 방향은 3차 이상을 봐야 안다x², x² + y⁴, x² − y⁴

고윳값을 구하지 않고 줄여 말하는 법. 헤시안의 행렬식은 두 고윳값의 곱이고, 대각합(f_xx + f_yy)은 두 고윳값의 합입니다(고윳값 쪽). 그래서:

7. 식이 만들어지는 과정: 2계 판정법

위 표는 결과만 적은 것입니다. 이 표가 어디서 나오는지, 임계점 둘레의 땅을 한 방향씩 잘라 보며 한 단계씩 만듭니다. 처음 자료는 위 실험의 「언덕과 안장 x³ − 3x + y²」에서 임계점 (−1, 0) 입니다.

위에서 본 지도. 주황 막대가 자르는 방향 θ
위: 그 방향으로 자른 단면. 아래: 방향마다 휨 k(θ)

「다음」을 누르면 한 단계씩 넘어갑니다. 두 그림이 그만큼 바뀌고, 그림 아래의 식에 한 줄씩 붙고(주황 바탕이 이번에 붙은 줄), 맨 아래에 까닭이 나옵니다. 「자르는 방향 θ」 막대는 어느 단계에서나 움직일 수 있습니다. 지도의 주황 막대가 자르는 방향이고, 화살표 쪽이 t 가 + 인 쪽입니다. 둘째 그림의 위쪽은 그 방향으로 자른 단면(가로는 P 에서 간 거리 t, 세로는 f(P) 보다 높은 만큼)이고, 회색 굵은 선이 진짜 땅, 주황 선이 2차 근사입니다. 아래쪽은 방향 θ 마다의 휨 k(θ) 입니다. 초록·파랑은 고윳값 λ₁·λ₂ 와 그 방향, 보라 점선은 물결의 가운데입니다.

글로 다시 적으면 이렇습니다. 숫자는 처음 자료 (−1, 0) 과 θ = 30° 입니다.

  1. 기울기 항이 빠진다. 2차 근사 f(P + d) ≈ f(P) + ∇f · d + ½ dᵀ H d(2차 근사와 뉴턴 방법)에서 임계점은 ∇f = (0, 0) 이라 가운데 항이 0 입니다. 남은 ½ dᵀ H d 를 풀어 쓰면 ½(f_xx·dx² + 2f_xy·dx·dy + f_yy·dy²) 입니다. (−1, 0) 에서는 f = 2, 헤시안 [−6 0 / 0 2] 라서 f ≈ 2 − 3dx² + dy². 진짜 높이는 2 − 3dx² + dx³ + dy² 라서 둘의 차이는 dx³ 하나이고, P 에 다가갈수록 휨 항보다 빨리 작아집니다.
  2. 한 방향으로 자르면 포물선 하나. 길이 1 인 방향 u = (cos θ, sin θ) 로 t 만큼 가면 dx = t cos θ, dy = t sin θ 입니다. 넣으면 세 항이 ½ · k(θ) · t² 하나로 묶입니다. k(θ) = f_xx cos²θ + 2f_xy cos θ sin θ + f_yy sin²θ 는 5절의 uᵀ H u 와 같은 값입니다. θ = 30° 면 k = −6 × 0.75 + 2 × 0.25 = −4 이고, 단면은 아래로 열린 포물선 −2t² 입니다.
  3. 한 바퀴 돌리면 물결이고, 끝값이 고윳값이다. cos²θ = (1 + cos 2θ) ÷ 2, sin²θ = (1 − cos 2θ) ÷ 2, 2 sin θ cos θ = sin 2θ 를 넣으면 k(θ) = m + (f_xx − f_yy) ÷ 2 × cos 2θ + f_xy × sin 2θ, m = (f_xx + f_yy) ÷ 2 입니다. cos 과 sin 을 섞은 뒷부분은 반지름 R = √(((f_xx − f_yy) ÷ 2)² + f_xy²) 만큼 오르내리는 물결이라, k 는 m − R 과 m + R 사이에만 있고 두 끝에 모두 닿습니다. 고윳값을 구하는 식 λ² − (f_xx + f_yy)λ + (f_xx f_yy − f_xy²) = 0 의 두 근도 m ± R 입니다. 그래서 가장 크게 휘는 값이 λ₁, 가장 덜 휘는 값이 λ₂ 입니다. (−1, 0) 에서는 m = −2, R = 4 라서 λ₁ = 2 (90°), λ₂ = −6 (0°) 입니다.
  4. 부호가 모양을 정한다. 어느 방향의 휨이든 λ₂ 와 λ₁ 사이에 있습니다. λ₂ > 0 이면 모든 단면이 위로 열린 포물선이라 바닥, λ₁ < 0 이면 모두 아래로 열린 포물선이라 꼭대기, λ₁ > 0 > λ₂ 이면 위로 열리는 방향과 아래로 열리는 방향이 둘 다 있어 안장점입니다. (−1, 0) 에서는 k 가 60° 와 120° 에서 0 이고, 그 사이(90° 쪽)로 자르면 위로, 나머지는 아래로 열립니다. 진짜 땅과 2차 근사의 차이는 P 에 다가갈수록 t² 보다 빨리 작아지므로, P 아주 가까이에서는 휨 항의 부호가 이깁니다(여기서는 증명하지 않습니다). 고윳값에 0 이 있으면 그 방향의 휨 항이 0 이라 남은 차이(3차 이상)가 모양을 정합니다. 그래서 판정 못 함입니다.
  5. 행렬식과 대각합으로 줄여 말한다. 2차식의 두 근의 곱과 합은 계수에서 바로 나옵니다. λ₁ × λ₂ = f_xx f_yy − f_xy²(헤시안의 행렬식), λ₁ + λ₂ = f_xx + f_yy(대각합). 곱이 − 면 부호가 다르니 안장점이고, 곱이 + 면 부호가 같고 그 부호는 합의 부호입니다. 곱이 + 이면 f_xx f_yy > f_xy² ≥ 0 이라 f_xx 와 f_yy 의 부호도 같으므로, 위처럼 대각합 대신 f_xx 를 봐도 됩니다. (−1, 0) 에서는 행렬식 −6 × 2 − 0² = −12 < 0 → 안장점입니다.

해 볼 것. ① 처음 자료에서 2단계로 가서 막대를 90° 로 돌리면 k = 2 로 단면이 위로 열립니다. 60° 에서는 k = 0 이라 2차 근사가 평평한 선입니다(진짜 땅은 dx³ 때문에 조금 휩니다). ② 「비스듬한 안장 xy」를 고르면 1단계부터 진짜 땅과 2차 근사가 겹칩니다. 원래 2차식이기 때문입니다. 3단계에서는 λ₁ = 1 (45°), λ₂ = −1 (135°) 입니다. f_xx, f_yy 가 0 이어도 비스듬히 휩니다. ③ 「뒤집힌 그릇」은 3단계의 물결이 −2 에 붙은 평평한 줄입니다. ④ 「평평한 골 x²」를 4단계에서 보면 물결이 90° 에서 0 에 닿고 「판정 못 함」입니다. ⑤ 「언덕과 안장」의 (1, 0) 을 5단계에서 보면 행렬식 12, 대각합 8 → 바닥입니다.

8. 손으로 따라 풀기: x³ − 3x + y² 의 임계점

  1. 그래디언트를 구한다. ∇f = (3x² − 3, 2y).
  2. 0 으로 둔다. 3x² − 3 = 0 에서 x = 1 또는 −1, 2y = 0 에서 y = 0. 임계점은 (1, 0) 과 (−1, 0) 둘입니다.
  3. 헤시안을 구한다. [6x 0 / 0 2].
  4. (1, 0): 헤시안 [6 0 / 0 2]. 고윳값 6 과 2, 둘 다 + → 바닥. 높이 1 − 3 + 0 = −2. 줄여 말하면 행렬식 12 > 0, f_xx = 6 > 0.
  5. (−1, 0): 헤시안 [−6 0 / 0 2]. 고윳값 2 와 −6, 부호가 다름 → 안장점. 높이 −1 + 3 + 0 = 2. 줄여 말하면 행렬식 −12 < 0.

미분 쪽에서 x³ − 3x 의 x = −1 은 꼭대기였습니다. 여기에 y² 을 더하면 y 쪽으로는 위로 휘므로, 같은 자리가 꼭대기가 아니라 안장점이 됩니다. 한 방향만 보면 놓치는 것이 있습니다.

해 볼 것. 「언덕과 안장」에서 ① 처음 P = (0.5, 1) 은 그래디언트가 (−2.25, 2) 라서 「임계점이 아닙니다」. ② 「임계점으로 가기」를 누르면 가장 가까운 (1, 0) 으로 가고, 고윳값 6 과 2 로 바닥입니다. ③ P 를 (−1, 0) 으로 옮기면 고윳값 2 와 −6 으로 안장점입니다. 입체 그림에서 초록 단면은 위로, 파란 단면은 아래로 휩니다. ④ 「비스듬한 안장 xy」의 원점은 고윳값 1 과 −1 이고, 두 선이 대각선으로 놓입니다. ⑤ 「평평한 골 x²」에서 P 를 (0, 0.7) 에 두면 고윳값 2 와 0 이라 「판정 못 함」입니다. 이 땅은 x = 0 인 줄 전체가 바닥입니다.

9. 2차 근사와 뉴턴 방법

임계점이 아니어도 헤시안을 쓰면 그 자리 가까이의 땅을 포물면(그릇이나 안장 모양의 2차 곡면)으로 근사할 수 있습니다. 기울기로 근사한 평면에 휨을 더한 것입니다.

f(P + d) ≈ f(P) + ∇f · d + ½ dᵀ H d

테일러 급수를 2차까지 쓴 것입니다(테일러 급수). 예: P = (0.5, 1) 에서 f = −0.375, ∇f = (−2.25, 2), 헤시안 [3 0 / 0 2]. d = (0.5, 0) 이면 2차 근사는 −0.375 + (−2.25 × 0.5) + ½ × 3 × 0.5² = −1.125 이고, 진짜 높이 f(1, 1) 은 −1 입니다. d = (0.1, 0) 이면 −0.585 와 −0.584 로 거의 같습니다. 가까울수록 잘 맞습니다.

뉴턴 방법은 이 포물면이 평평해지는 곳으로 한 번에 건너뜁니다. 포물면의 그래디언트 ∇f + H d 를 0 으로 두면 d = −H⁻¹ ∇f 입니다(H⁻¹ 은 역행렬). 입력이 하나면 x ← x − f′(x) ÷ f″(x) 입니다.

해 볼 것. 「2차 근사 겹쳐 보기」를 켜세요. ① P = (0.5, 1) 에서 주황 그물이 P 근처에서는 땅에 붙고, 멀어질수록 떨어집니다. 지도의 주황 고리(뉴턴 한 스텝)는 (1.25, 0) 입니다. ② P 를 (−0.5, 1) 로 옮기면 그물이 안장 모양이 되고, 고리는 (−1.25, 0) 에 있습니다. ③ 「그릇」에서는 어디에 두어도 고리가 (0, 0) 입니다. ④ 「평평한 골」에서는 헤시안의 행렬식이 0 이라 고리가 나오지 않습니다.

10. 볼록 함수: 어디서나 그릇 모양

땅 위의 두 점을 골라 곧은 막대를 걸쳐 봅니다. 어느 두 점을 골라도 막대가 땅을 뚫고 들어가지 않으면(땅보다 위에 있거나 닿으면) 그 함수는 볼록합니다. 두 번 미분할 수 있는 함수라면 같은 말을 헤시안으로 할 수 있습니다. 모든 자리에서 헤시안의 고윳값이 0 이상이면 볼록합니다. 어디서나 위로 휘거나 평평할 뿐, 아래로 휘는 곳이 없다는 뜻입니다.

볼록하면 좋은 점. 그래디언트가 0 인 곳이 곧 전체에서 가장 낮은 곳입니다. 「여기는 근처에서만 낮은 바닥이 아닐까」를 걱정하지 않아도 되고, 학습률(learning rate)만 알맞으면 경사 하강법이 어디서 출발하든 가장 낮은 높이로 갑니다. 고윳값이 어디서나 0 보다 크면 가장 낮은 곳은 한 점뿐입니다. 최소제곱과 로지스틱 회귀의 손실은 볼록해서, 경사 하강법이 멈춘 곳이 곧 가장 낮은 곳입니다.

「공 굴리기」를 누르면 열두 개의 출발점(속이 빈 동그라미)에서 공이 경사 하강법으로 한꺼번에 내려갑니다. 출발점은 정해 둔 시드(난수의 시작값)로 만들어서 누를 때마다 같습니다. 막대 아래의 띠는 학습률 η 가 놓일 수 있는 범위입니다. 초록 부분은 바닥에서 튕겨 나가지 않는 범위(2 ÷ λ 까지), 주황 부분은 그것을 넘는 범위입니다.

해 볼 것. ① 「그릇」, η = 0.3 이면 공 12개가 모두 (0, 0) 에 멈춥니다(가장 늦은 공 9스텝). 볼록한 땅이라 출발점이 어디든 같은 바닥입니다. ② 「우물 넷」은 볼록하지 않습니다. η = 0.05 로 굴리면 (1, 1) 에 4개, (1, −1) 에 3개, (−1, 1) 에 3개, (−1, −1) 에 2개로 나뉩니다. 출발점이 어느 우물 쪽에 있었느냐가 도착점을 정합니다.

11. 학습률의 한계: 2 ÷ λ

그릇 모양의 땅에서는 헤시안이 학습률을 얼마까지 키워도 되는지 정합니다. 바닥을 원점에 둔 그릇 f = ½ dᵀ H d 에서 그래디언트는 H d 입니다. 경사 하강 한 스텝 d ← d − η H d 를 고유 방향마다 나눠 보면, 그 방향의 거리가 한 스텝에 (1 − η λ) 배가 됩니다.

그릇 x² + y² 은 헤시안이 [2 0 / 0 2] 라서 λ = 2, 한계는 1 입니다. η = 0.5 면 한 스텝에 바닥입니다.

길쭉한 그릇은 느립니다. x² + 10y² 은 고윳값이 20(y 쪽)과 2(x 쪽)입니다. 한계는 가파른 y 쪽이 정해 2 ÷ 20 = 0.1 입니다. 그런데 이렇게 작은 스텝으로는 완만한 x 쪽이 한 스텝에 1 − 0.1 × 2 = 0.8 배쯤밖에 줄지 않습니다. 가장 큰 고윳값 ÷ 가장 작은 고윳값을 조건수라고 부르고, 여기서는 10 입니다. 조건수가 클수록 가파른 쪽은 지그재그로 튀고 완만한 쪽은 기어가서, 바닥까지 오래 걸립니다.

해 볼 것. ① 「그릇」에서 η 를 0.5 로 두면 모든 공이 1스텝에 멈춥니다. 0.9 면 지그재그로 37스텝, 1 이면 12개 모두 1000스텝 안에 멈추지 못합니다(왔다 갔다). 1.01 부터는 모두 튕겨 나갑니다. ② 「아주 길쭉한 그릇」은 처음 η = 0.09 에서 지그재그로 46스텝 걸립니다. 막대를 0.1 아래 어디로 옮겨도 44스텝보다 빨라지지 않습니다. η = 0.105 면 모두 튕겨 나갑니다. ③ 「우물 넷」의 바닥은 헤시안이 [8 0 / 0 8] 이라 한계가 0.25 입니다. η = 0.25 로 굴리면 공이 바닥 둘레에서 왔다 갔다 하며 멈추지 못합니다.

모멘텀이나 Adam 처럼 이 지그재그를 줄이는 방법은 경사 하강법 쪽에서 직접 비교해 볼 수 있습니다.

12. 신경망의 손실 지형

신경망의 손실은 가중치가 수백만 개가 넘는 땅입니다. 이 땅에 대해 알려진 것을 조심스럽게 적으면 이렇습니다.

헤시안은 너무 큽니다. 가중치가 n 개면 헤시안은 n × n 칸입니다. 백만 개면 1조(10¹²) 칸이고, 숫자 하나에 4바이트만 잡아도 4TB 입니다. 뉴턴 방법처럼 역행렬을 풀려면 계산이 더 큽니다. 그래서 큰 모델은 헤시안을 직접 쓰지 않습니다.

13. 꼭 알아야 할 성질

성질쉬운 말
야코비안: 줄 = 출력, 칸 = 입력칸 하나는 「그 입력만 조금 움직일 때 출력이 가는 화살표」. 출력이 하나면 한 줄이고, 그것이 그래디언트
F(P + d) ≈ F(P) + J × d아주 가까이에서는 휜 함수도 행렬 하나처럼 움직인다
야코비안의 행렬식 = 그 자리의 넓이 배수음수면 뒤집힘, 0 이면 눌림. 극좌표에서는 r
연쇄 법칙 = 야코비안의 곱나중 단계가 왼쪽. 역전파는 뒤에서부터 곱한다
헤시안 = 그래디언트의 야코비안, 늘 대칭고윳값은 실수이고 고유 방향은 직각. 고윳값 = 그 방향으로 휘는 정도
그래디언트 0 + 고윳값의 부호 → 모양둘 다 + 바닥, 둘 다 − 꼭대기, 다르면 안장점, 0 이 있으면 판정 못 함
볼록 = 어디서나 고윳값 ≥ 0임계점이 곧 가장 낮은 곳
학습률 < 2 ÷ λ_max넘으면 튕겨 나간다. 조건수가 크면 지그재그로 느리다

어디에 쓰나

자주 묻는 것

야코비안과 그래디언트는 무엇이 다른가요?

그래디언트는 출력이 하나인 함수의 편미분을 모은 것이고, 야코비안은 출력이 여럿일 때 출력마다 한 줄씩 쌓은 표입니다. 출력이 하나면 야코비안은 한 줄이고, 그 한 줄이 그래디언트입니다.

헤시안은 왜 늘 대칭인가요?

매끈한 함수(두 번 미분한 값이 끊기지 않는 함수)에서는 x 로 먼저 미분하고 y 로 미분하든, 순서를 바꾸든 같은 값이 나오기 때문입니다. 그래서 헤시안의 고윳값은 늘 실수이고, 두 고유 방향은 서로 직각입니다.

그래디언트가 0 인데 판정을 못 하는 때는 언제인가요?

헤시안의 고윳값에 0 이 있을 때입니다. 그 방향의 모양은 휨(2차)만으로는 알 수 없습니다. 예를 들어 x² + y⁴ 와 x² − y⁴ 는 원점의 헤시안이 똑같이 [2 0 / 0 0] 이지만, 앞의 것은 바닥이고 뒤의 것은 안장점입니다.

볼록하면 왜 좋은가요?

볼록한 함수에서는 그래디언트가 0 인 곳이 곧 전체에서 가장 낮은 곳입니다. 근처에서만 낮은 바닥에 갇힐 걱정이 없고, 학습률만 알맞으면 경사 하강법이 어디서 출발하든 가장 낮은 높이로 갑니다.

신경망 학습에서는 왜 헤시안을 직접 쓰지 않나요?

가중치가 n 개면 헤시안은 n × n 칸이라서, 가중치가 백만 개면 1조 칸입니다. 저장하기도 계산하기도 어렵습니다. 그래서 그래디언트만 쓰거나, 헤시안과 화살표 하나의 곱만 계산하거나, Adam 처럼 가중치마다 기울기 크기를 기억해 스텝을 따로 맞추는 방법을 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
편미분을 모두 모은 표야코비안 행렬(Jacobian matrix). J, ∂(x, y)/∂(r, θ)
야코비안의 행렬식, 그 자리의 넓이 배수야코비안 행렬식(Jacobian determinant). 책에 따라 이것만 「야코비안」이라고 부른다
가까이에서 보면 행렬선형 근사(linear approximation), 선형화(linearization)
한 줄 × 야코비안벡터-야코비안 곱(vector-Jacobian product, VJP)
두 번 미분한 것을 모은 표헤시안 행렬(Hessian matrix). H, ∇²f
x 로 미분하고 y 로 또 미분한 것혼합 편미분(mixed partial derivative). f_xy, ∂²f/∂x∂y
미분하는 순서를 바꿔도 같다슈바르츠 정리, 클레로 정리(Schwarz's theorem, Clairaut's theorem)
그래디언트가 0 인 곳임계점(critical point), 정류점(stationary point)
바닥 / 꼭대기극소 / 극대(local minimum / local maximum)
한쪽은 오르막, 다른 쪽은 내리막인 곳안장점(saddle point)
고윳값의 부호로 가리기2계 도함수 판정법(second derivative test)
고윳값이 모두 + / 모두 0 이상양의 정부호 / 양의 준정부호(positive definite / positive semidefinite)
어디서나 그릇 모양볼록 함수(convex function)
전체에서 가장 낮은 곳전역 최솟값(global minimum)
그 자리의 포물면 근사2차 근사(quadratic approximation), 2차 테일러 전개(second-order Taylor expansion)
포물면이 평평한 곳으로 건너뛰기뉴턴 방법(Newton's method)
헤시안을 근사해서 쓰는 방법준뉴턴 방법(quasi-Newton method). BFGS, L-BFGS
헤시안 × 화살표 하나헤시안-벡터 곱(Hessian-vector product)
가장 큰 고윳값 ÷ 가장 작은 고윳값조건수(condition number)
한 스텝에 가는 거리 η학습률(learning rate), 스텝 크기(step size)

출처

← 테일러 근사확률과 베이즈 정리 →