야코비안과 헤시안, 볼록성
입력이 여럿이면 미분도 숫자 하나가 아니라 표가 됩니다. 야코비안은 함수가 그 자리에서 평면을 어떻게 늘리고 돌리는지, 헤시안은 땅이 그 자리에서 어떻게 휘는지 알려 줍니다. 그래디언트가 0 인 곳이 바닥인지, 꼭대기인지, 안장점인지도 헤시안으로 가립니다. 점을 움직여 보세요.
한 줄 답. 야코비안은 「입력 여러 개 → 출력 여러 개」인 함수의 편미분을 모두 모은 표(행렬)입니다. 아주 가까이에서 보면 함수는 이 행렬처럼 평면을 늘리고 돌립니다. 헤시안은 두 번 미분한 값을 모은 표로, 땅이 그 자리에서 어느 방향으로 얼마나 휘는지 말해 줍니다. 그래디언트가 0 인 곳에서 헤시안의 고윳값을 보면 바닥(둘 다 +), 꼭대기(둘 다 −), 안장점(부호가 다름)을 가릴 수 있습니다.
점 P (r, θ) = ( , )
P 에서의 야코비안 J
왼쪽 위 그림의 점 P 를 끌거나 칸에 숫자를 넣으세요. 왼쪽 위는 입력 평면, 오른쪽 위는 함수 F 가 그 모눈을 옮긴 모습입니다. 주황 네모는 P 둘레의 한 변 h 인 작은 네모와 그것이 옮겨 간 모양입니다. 아래 그림은 옮겨 간 모양을 F(P) 가 가운데에 오게 놓고 1/h 배로 키운 것입니다. 검은 점선은 야코비안 J 가 같은 네모를 옮긴 평행사변형이고, 초록·파란 화살표는 J 의 첫째 칸과 둘째 칸입니다. 「네모 한 변 h」 막대를 오른쪽으로 옮길수록 h 가 작아지고 두 모양이 겹칩니다.
1. 야코비안: 편미분을 모두 모은 표
미분은 입력 하나, 출력 하나인 함수의 기울기였습니다. 편미분과 그래디언트는 입력이 여럿이고 출력이 하나인 함수(지도 위의 자리 → 땅의 높이)의 기울기였습니다. 이번에는 출력도 여럿인 함수입니다. 실험의 첫 함수는 거리 r 과 각도 θ 를 받아 평면 위의 자리 (x, y) 를 내놓습니다.
F(r, θ) = (r cos θ, r sin θ) 거리와 각도(극좌표)를 보통 좌표로 바꾸는 함수
출력 하나와 입력 하나를 고를 때마다 편미분이 하나씩 있습니다. 출력 2개 × 입력 2개 = 4개입니다. 이것을 표로 늘어놓은 것이 야코비안입니다.
| r 만 움직임 | θ 만 움직임 | |
|---|---|---|
| 출력 x | ∂x/∂r | ∂x/∂θ |
| 출력 y | ∂y/∂r | ∂y/∂θ |
- 줄 하나 = 출력 하나, 칸 하나 = 입력 하나. 출력이 m 개, 입력이 n 개면 m 줄 n 칸입니다.
- 칸을 세로로 읽으면 「그 입력 하나만 조금 움직일 때 출력이 가는 방향과 빠르기」입니다. 실험의 초록 화살표가 첫째 칸, 파란 화살표가 둘째 칸입니다.
- 출력이 하나면 한 줄짜리 야코비안이고, 그 한 줄이 그래디언트입니다.
f(x, y) = x² + y²의 야코비안은[2x 2y]한 줄입니다. 그래디언트는 야코비안의 특별한 경우입니다(책에 따라 그래디언트를 세로로 세워 적기도 합니다).
2. 손으로 따라 풀기: 극좌표 변환의 야코비안
- 출력을 적는다.
x = r cos θ,y = r sin θ. - r 로 편미분한다(θ 는 고정). cos θ, sin θ 는 바뀌지 않는 숫자로 봅니다.
∂x/∂r = cos θ,∂y/∂r = sin θ. 이것이 첫째 칸입니다. - θ 로 편미분한다(r 은 고정).
∂x/∂θ = −r sin θ,∂y/∂θ = r cos θ. 둘째 칸입니다. - 표로 모은다. 윗줄
cos θ, −r sin θ, 아랫줄sin θ, r cos θ. - 행렬식을 구한다.
cos θ × r cos θ − (−r sin θ) × sin θ = r × (cos²θ + sin²θ) = r.cos²θ + sin²θ는 늘 1 입니다. - 숫자를 넣는다. r = 2, θ = 0.5(라디안)이면 cos 0.5 ≈ 0.88, sin 0.5 ≈ 0.48 이라 윗줄
0.88, −0.96, 아랫줄0.48, 1.76. 행렬식은 정확히 2 입니다. 실험의 첫 화면과 같습니다.
뜻: P 가까이의 아주 작은 네모는 넓이가 2배인 평행사변형에 가깝게 옮겨 갑니다. 원점에서 먼 곳(r 이 큰 곳)일수록 같은 각도가 더 긴 호가 되어 넓게 퍼집니다. r = 0 이면 행렬식도 0 입니다. 각도가 무엇이든 원점 한 점으로 모이기 때문입니다.
해 볼 것. 극좌표를 고른 채 ① 처음 그대로(P = (2, 0.5), h = 1)면 행렬식은 2 이고, 옮긴 뒤 넓이 ÷ h² 도 2 입니다. ② P 를 r = 1 로 옮기면 1, r = 3 이면 3 입니다. θ 를 바꿔도 행렬식은 그대로입니다. ③ r = 0 으로 옮기면 행렬식이 0 이고, 아래 그림의 평행사변형이 한 줄로 눌립니다.
3. 가까이에서 보면 행렬이다
휘어진 함수도 아주 가까이에서 보면 행렬 하나가 하는 일과 거의 같습니다. P 에서 작은 화살표 d 만큼 움직이면 출력은 대략 J × d 만큼 움직입니다.
F(P + d) ≈ F(P) + J × d
미분 쪽의 f(x + h) ≈ f(x) + f′(x) × h 를 평면으로 넓힌 것입니다. 거기서는 숫자 f′(x) 를 곱했고, 여기서는 행렬 J 를 곱합니다. 곱하는 법은 행렬 곱셈과 같습니다.
실험의 아래 그림이 이것을 보여 줍니다. 한 변 h 인 네모를 F 로 진짜 옮긴 모양(주황)과 J 로 옮긴 평행사변형(검은 점선)을 같은 배율로 키워 겹쳤습니다. h 가 크면 주황 모양이 휘어 있어 어긋나고, h 를 줄이면 거의 겹칩니다. 어긋난 정도는 h 에 비례해 줄어듭니다.
그래서 행렬식에서 배운 것을 그 자리에 그대로 쓸 수 있습니다.
- 야코비안의 행렬식 = 그 자리에서 넓이가 몇 배가 되나. 극좌표의 (2, 0.5) 에서는 2배입니다.
- 음수면 뒤집힙니다. 접기 (x, y) → (x², y) 의 야코비안은 윗줄
2x, 0, 아랫줄0, 1이고 행렬식은 2x 입니다. x = −1 이면 −2 라서, 왼쪽 절반은 거울에 비친 모양으로 오른쪽에 포개집니다. - 0 이면 눌립니다. 접기의 x = 0 에서는 행렬식이 0 입니다. 접히는 선 위라서 작은 네모가 한 줄에 가깝게 눌립니다.
- 자리마다 다릅니다. 행렬 하나는 평면 전체를 같은 배율로 바꾸지만, 휜 함수는 자리마다 다른 행렬입니다. 물결 함수의 행렬식은
1 − 0.25 × cos x × cos y라서 (0, 0) 에서 0.75, (2.5, 0) 에서 1.2 입니다.
해 볼 것. ① 극좌표, P = (2, 0.5) 에서 「네모 한 변 h」를 1 → 0.1 → 0.01 로 줄이면 가장 많이 어긋난 곳이 0.365 → 0.035 → 0.004 로 줄어듭니다. h 를 10분의 1 로 하면 어긋남도 거의 10분의 1 입니다. ② 물결을 고르고 P = (0, 0) 에 두면 행렬식은 0.75 입니다. 옮긴 뒤 넓이 ÷ h² 는 h = 2 에서 0.82, h = 1 에서 0.77, h = 0.2 에서 0.75 로 행렬식에 다가갑니다. ③ 접기를 고르고 P 의 x 를 1, 0, −1 로 옮겨 보세요. 행렬식이 2, 0, −2 입니다. −2 에서는 아래 그림의 초록 화살표가 왼쪽을 봅니다.
넓이 배수는 적분에서도 씁니다. 원 모양의 땅을 (x, y) 대신 (r, θ) 로 잘게 나눠 넓이를 더할 때, (r, θ) 의 작은 네모 하나는 실제로는 r 배 넓습니다. 그래서 dx dy 자리에 r dr dθ 를 씁니다. 변수를 바꿔 적분할 때 야코비안 행렬식의 크기를 곱하는 까닭입니다(적분).
4. 연쇄 법칙은 야코비안의 곱
입력 하나짜리 함수에서는 이어진 단계의 기울기를 곱했습니다(연쇄 법칙). 입력과 출력이 여럿이면 기울기 대신 야코비안을 곱합니다. G 를 먼저 하고 F 를 나중에 하면:
F(G(p)) 의 야코비안 = (G(p) 자리에서 잰 F 의 야코비안) × (p 자리에서 잰 G 의 야코비안)
나중 단계가 왼쪽에 옵니다. 바깥 단계의 야코비안은 p 가 아니라 안쪽에서 나온 자리 G(p) 에서 잽니다. 미분 쪽에서 본 것과 같은 함정입니다.
예: G 는 극좌표 변환, F 는 출력이 하나인 F(x, y) = x² + y² 입니다. F 의 야코비안은 한 줄 [2x 2y] 입니다.
- 곱한다. 한 줄 × 표:
[2x cos θ + 2y sin θ, −2x r sin θ + 2y r cos θ]. - x = r cos θ, y = r sin θ 를 넣는다. 첫 칸
2r cos²θ + 2r sin²θ = 2r, 둘째 칸−2r² cos θ sin θ + 2r² sin θ cos θ = 0. - 확인한다. 결과는
[2r 0]. 먼저 합치면F(G(r, θ)) = r² cos²θ + r² sin²θ = r²이고, 바로 미분하면 r 로 2r, θ 로 0 입니다. 같습니다. r = 2 면[4 0].
역전파는 야코비안을 뒤에서부터 곱하는 일입니다. 신경망은 층마다의 함수를 이은 것이고, 맨 끝의 손실은 숫자 하나입니다. 그래서 맨 끝 야코비안은 한 줄입니다. 뒤에서부터 곱하면 늘 「한 줄 × 행렬 = 한 줄」이라 가볍습니다. 앞에서부터 곱하면 「큰 행렬 × 큰 행렬」을 해야 합니다. 실제 프로그램은 야코비안 행렬을 통째로 만들지도 않고, 「한 줄 × 야코비안」만 바로 계산합니다(벡터-야코비안 곱). 자세한 것은 역전파 쪽에 있습니다.
5. 헤시안: 두 번 미분한 것을 모은 표
이제 출력이 하나인 땅의 높이 f(x, y) 로 돌아옵니다. 그래디언트 (∂f/∂x, ∂f/∂y) 는 그 자리의 기울기입니다. 이 기울기도 자리마다 바뀌니, 한 번 더 x 와 y 로 편미분할 수 있습니다. 나오는 넷을 표로 모은 것이 헤시안입니다.
| x 로 한 번 더 | y 로 한 번 더 | |
|---|---|---|
| ∂f/∂x 를 | f_xx | f_xy |
| ∂f/∂y 를 | f_yx | f_yy |
헤시안은 그래디언트의 야코비안입니다. 그래디언트도 입력 둘(x, y), 출력 둘(두 편미분)인 함수이기 때문입니다.
- 대각선 f_xx, f_yy: x 쪽(또는 y 쪽)으로 걸을 때 기울기가 얼마나 빨리 바뀌나, 곧 그쪽으로 얼마나 휘나. + 면 위로 휘고(그릇), − 면 아래로 휩니다(뒤집힌 그릇).
- 대각선 밖 f_xy: y 로 움직이면 x 쪽 기울기가 얼마나 바뀌나. 땅이 비스듬히 비틀린 정도입니다.
- 늘 대칭입니다(f_xy = f_yx). 매끈한 함수에서는 x 로 먼저 미분하고 y 로 미분하든, 순서를 바꾸든 같은 값이 나오기 때문입니다.
어느 한 방향으로 얼마나 휘는지도 헤시안으로 구합니다. 길이 1 인 방향 u 로의 휨은 uᵀ H u(u 와 H u 의 내적)입니다. 이 값이 가장 큰 방향과 가장 작은 방향이 헤시안의 고유 방향이고, 그때의 휨이 고윳값입니다. 헤시안은 대칭이라 고윳값은 늘 실수이고, 두 고유 방향은 서로 직각입니다.
예: f(x, y) = x³ − 3x + y². ∂f/∂x = 3x² − 3, ∂f/∂y = 2y. 한 번 더 미분하면 f_xx = 6x, f_xy = f_yx = 0, f_yy = 2 입니다. P = (0.5, 1) 이면 헤시안은 [3 0 / 0 2](/ 앞이 윗줄, 뒤가 아랫줄)이고, 고윳값은 3(x 방향)과 2(y 방향)입니다.
대각선이 0 이어도 휠 수 있습니다. f = xy 의 헤시안은 [0 1 / 1 0] 입니다. x 쪽, y 쪽으로는 휘지 않지만 고윳값이 1 과 −1 이고, 고유 방향은 (1, 1) 과 (1, −1) 입니다. 대각선 쪽으로는 위로, 반대 대각선 쪽으로는 아래로 휩니다.
점 P = ( , )
P 에서의 헤시안 H
오른쪽 지도에서 점 P 를 끌거나 칸에 숫자를 넣으세요. 지도의 선은 같은 높이를 이은 등고선이고, 짙을수록 높습니다. 초록 선은 가장 크게 위로 휘는 방향(λ₁), 파란 선은 가장 덜 휘는 방향(λ₂)입니다. 고윳값이 음수(아래로 휨)인 방향은 점선으로 그립니다. 왼쪽 입체 그림의 초록·파란 곡선은 그 방향으로 땅을 자른 단면입니다. 검은 화살표는 그래디언트입니다(길이는 1/4 로 줄임). 「2차 근사 겹쳐 보기」를 켜면 헤시안으로 만든 포물면이 주황 그물로 겹치고, 지도에는 그 포물면이 평평한 곳(뉴턴 방법이 가는 곳)이 주황 고리로 나옵니다.
6. 2계 판정법: 바닥, 꼭대기, 안장점
그래디언트가 (0, 0) 인 곳에서는 어느 쪽으로도 기울지 않습니다. 이런 곳을 임계점(critical point)이라고 합니다. 바닥일 수도, 꼭대기일 수도, 말안장 가운데처럼 한쪽으로는 오르막이고 다른 쪽으로는 내리막인 안장점일 수도 있습니다. 기울기가 0 이라 기울기만으로는 가릴 수 없고, 휨(헤시안)을 봐야 합니다.
임계점 P 에서는 그래디언트가 0 이라, 가까운 곳의 높이는 f(P + d) ≈ f(P) + ½ dᵀ H d 입니다. ½ dᵀ H d 가 모든 방향에서 + 면 어디로 가도 올라갑니다. 고윳값의 부호가 그것을 정합니다. 아래 표가 이 식에서 어떻게 나오는지는 식이 만들어지는 과정에서 그림으로 한 단계씩 봅니다.
| 헤시안의 고윳값 | 모양 | 예 (원점에서) |
|---|---|---|
| 둘 다 + | 바닥(극소). 어느 쪽으로 가도 올라간다 | x² + y², x² + 4y² |
| 둘 다 − | 꼭대기(극대). 어느 쪽으로 가도 내려간다 | −x² − y² |
| 하나는 +, 하나는 − | 안장점. λ₁ 방향으로는 오르고 λ₂ 방향으로는 내린다 | x² − y², xy |
| 0 이 있다 | 판정 못 함. 그 방향은 3차 이상을 봐야 안다 | x², x² + y⁴, x² − y⁴ |
고윳값을 구하지 않고 줄여 말하는 법. 헤시안의 행렬식은 두 고윳값의 곱이고, 대각합(f_xx + f_yy)은 두 고윳값의 합입니다(고윳값 쪽). 그래서:
- 행렬식 > 0 이고 f_xx > 0 → 바닥. 곱이 + 라서 두 고윳값의 부호가 같고, f_xx 가 그 부호를 알려 줍니다.
- 행렬식 > 0 이고 f_xx < 0 → 꼭대기.
- 행렬식 < 0 → 안장점. 곱이 − 라서 부호가 다릅니다.
- 행렬식 = 0 → 판정 못 함.
7. 식이 만들어지는 과정: 2계 판정법
위 표는 결과만 적은 것입니다. 이 표가 어디서 나오는지, 임계점 둘레의 땅을 한 방향씩 잘라 보며 한 단계씩 만듭니다. 처음 자료는 위 실험의 「언덕과 안장 x³ − 3x + y²」에서 임계점 (−1, 0) 입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 두 그림이 그만큼 바뀌고, 그림 아래의 식에 한 줄씩 붙고(주황 바탕이 이번에 붙은 줄), 맨 아래에 까닭이 나옵니다. 「자르는 방향 θ」 막대는 어느 단계에서나 움직일 수 있습니다. 지도의 주황 막대가 자르는 방향이고, 화살표 쪽이 t 가 + 인 쪽입니다. 둘째 그림의 위쪽은 그 방향으로 자른 단면(가로는 P 에서 간 거리 t, 세로는 f(P) 보다 높은 만큼)이고, 회색 굵은 선이 진짜 땅, 주황 선이 2차 근사입니다. 아래쪽은 방향 θ 마다의 휨 k(θ) 입니다. 초록·파랑은 고윳값 λ₁·λ₂ 와 그 방향, 보라 점선은 물결의 가운데입니다.
글로 다시 적으면 이렇습니다. 숫자는 처음 자료 (−1, 0) 과 θ = 30° 입니다.
- 기울기 항이 빠진다. 2차 근사
f(P + d) ≈ f(P) + ∇f · d + ½ dᵀ H d(2차 근사와 뉴턴 방법)에서 임계점은 ∇f = (0, 0) 이라 가운데 항이 0 입니다. 남은½ dᵀ H d를 풀어 쓰면½(f_xx·dx² + 2f_xy·dx·dy + f_yy·dy²)입니다. (−1, 0) 에서는 f = 2, 헤시안[−6 0 / 0 2]라서f ≈ 2 − 3dx² + dy². 진짜 높이는2 − 3dx² + dx³ + dy²라서 둘의 차이는 dx³ 하나이고, P 에 다가갈수록 휨 항보다 빨리 작아집니다. - 한 방향으로 자르면 포물선 하나. 길이 1 인 방향
u = (cos θ, sin θ)로 t 만큼 가면dx = t cos θ,dy = t sin θ입니다. 넣으면 세 항이½ · k(θ) · t²하나로 묶입니다.k(θ) = f_xx cos²θ + 2f_xy cos θ sin θ + f_yy sin²θ는 5절의uᵀ H u와 같은 값입니다. θ = 30° 면k = −6 × 0.75 + 2 × 0.25 = −4이고, 단면은 아래로 열린 포물선−2t²입니다. - 한 바퀴 돌리면 물결이고, 끝값이 고윳값이다.
cos²θ = (1 + cos 2θ) ÷ 2,sin²θ = (1 − cos 2θ) ÷ 2,2 sin θ cos θ = sin 2θ를 넣으면k(θ) = m + (f_xx − f_yy) ÷ 2 × cos 2θ + f_xy × sin 2θ,m = (f_xx + f_yy) ÷ 2입니다. cos 과 sin 을 섞은 뒷부분은 반지름R = √(((f_xx − f_yy) ÷ 2)² + f_xy²)만큼 오르내리는 물결이라, k 는 m − R 과 m + R 사이에만 있고 두 끝에 모두 닿습니다. 고윳값을 구하는 식λ² − (f_xx + f_yy)λ + (f_xx f_yy − f_xy²) = 0의 두 근도m ± R입니다. 그래서 가장 크게 휘는 값이 λ₁, 가장 덜 휘는 값이 λ₂ 입니다. (−1, 0) 에서는 m = −2, R = 4 라서 λ₁ = 2 (90°), λ₂ = −6 (0°) 입니다. - 부호가 모양을 정한다. 어느 방향의 휨이든 λ₂ 와 λ₁ 사이에 있습니다. λ₂ > 0 이면 모든 단면이 위로 열린 포물선이라 바닥, λ₁ < 0 이면 모두 아래로 열린 포물선이라 꼭대기, λ₁ > 0 > λ₂ 이면 위로 열리는 방향과 아래로 열리는 방향이 둘 다 있어 안장점입니다. (−1, 0) 에서는 k 가 60° 와 120° 에서 0 이고, 그 사이(90° 쪽)로 자르면 위로, 나머지는 아래로 열립니다. 진짜 땅과 2차 근사의 차이는 P 에 다가갈수록 t² 보다 빨리 작아지므로, P 아주 가까이에서는 휨 항의 부호가 이깁니다(여기서는 증명하지 않습니다). 고윳값에 0 이 있으면 그 방향의 휨 항이 0 이라 남은 차이(3차 이상)가 모양을 정합니다. 그래서 판정 못 함입니다.
- 행렬식과 대각합으로 줄여 말한다. 2차식의 두 근의 곱과 합은 계수에서 바로 나옵니다.
λ₁ × λ₂ = f_xx f_yy − f_xy²(헤시안의 행렬식),λ₁ + λ₂ = f_xx + f_yy(대각합). 곱이 − 면 부호가 다르니 안장점이고, 곱이 + 면 부호가 같고 그 부호는 합의 부호입니다. 곱이 + 이면f_xx f_yy > f_xy² ≥ 0이라 f_xx 와 f_yy 의 부호도 같으므로, 위처럼 대각합 대신 f_xx 를 봐도 됩니다. (−1, 0) 에서는 행렬식−6 × 2 − 0² = −12< 0 → 안장점입니다.
해 볼 것. ① 처음 자료에서 2단계로 가서 막대를 90° 로 돌리면 k = 2 로 단면이 위로 열립니다. 60° 에서는 k = 0 이라 2차 근사가 평평한 선입니다(진짜 땅은 dx³ 때문에 조금 휩니다). ② 「비스듬한 안장 xy」를 고르면 1단계부터 진짜 땅과 2차 근사가 겹칩니다. 원래 2차식이기 때문입니다. 3단계에서는 λ₁ = 1 (45°), λ₂ = −1 (135°) 입니다. f_xx, f_yy 가 0 이어도 비스듬히 휩니다. ③ 「뒤집힌 그릇」은 3단계의 물결이 −2 에 붙은 평평한 줄입니다. ④ 「평평한 골 x²」를 4단계에서 보면 물결이 90° 에서 0 에 닿고 「판정 못 함」입니다. ⑤ 「언덕과 안장」의 (1, 0) 을 5단계에서 보면 행렬식 12, 대각합 8 → 바닥입니다.
8. 손으로 따라 풀기: x³ − 3x + y² 의 임계점
- 그래디언트를 구한다.
∇f = (3x² − 3, 2y). - 0 으로 둔다.
3x² − 3 = 0에서 x = 1 또는 −1,2y = 0에서 y = 0. 임계점은 (1, 0) 과 (−1, 0) 둘입니다. - 헤시안을 구한다.
[6x 0 / 0 2]. - (1, 0): 헤시안
[6 0 / 0 2]. 고윳값 6 과 2, 둘 다 + → 바닥. 높이1 − 3 + 0 = −2. 줄여 말하면 행렬식 12 > 0, f_xx = 6 > 0. - (−1, 0): 헤시안
[−6 0 / 0 2]. 고윳값 2 와 −6, 부호가 다름 → 안장점. 높이−1 + 3 + 0 = 2. 줄여 말하면 행렬식 −12 < 0.
미분 쪽에서 x³ − 3x 의 x = −1 은 꼭대기였습니다. 여기에 y² 을 더하면 y 쪽으로는 위로 휘므로, 같은 자리가 꼭대기가 아니라 안장점이 됩니다. 한 방향만 보면 놓치는 것이 있습니다.
해 볼 것. 「언덕과 안장」에서 ① 처음 P = (0.5, 1) 은 그래디언트가 (−2.25, 2) 라서 「임계점이 아닙니다」. ② 「임계점으로 가기」를 누르면 가장 가까운 (1, 0) 으로 가고, 고윳값 6 과 2 로 바닥입니다. ③ P 를 (−1, 0) 으로 옮기면 고윳값 2 와 −6 으로 안장점입니다. 입체 그림에서 초록 단면은 위로, 파란 단면은 아래로 휩니다. ④ 「비스듬한 안장 xy」의 원점은 고윳값 1 과 −1 이고, 두 선이 대각선으로 놓입니다. ⑤ 「평평한 골 x²」에서 P 를 (0, 0.7) 에 두면 고윳값 2 와 0 이라 「판정 못 함」입니다. 이 땅은 x = 0 인 줄 전체가 바닥입니다.
9. 2차 근사와 뉴턴 방법
임계점이 아니어도 헤시안을 쓰면 그 자리 가까이의 땅을 포물면(그릇이나 안장 모양의 2차 곡면)으로 근사할 수 있습니다. 기울기로 근사한 평면에 휨을 더한 것입니다.
f(P + d) ≈ f(P) + ∇f · d + ½ dᵀ H d
테일러 급수를 2차까지 쓴 것입니다(테일러 급수). 예: P = (0.5, 1) 에서 f = −0.375, ∇f = (−2.25, 2), 헤시안 [3 0 / 0 2]. d = (0.5, 0) 이면 2차 근사는 −0.375 + (−2.25 × 0.5) + ½ × 3 × 0.5² = −1.125 이고, 진짜 높이 f(1, 1) 은 −1 입니다. d = (0.1, 0) 이면 −0.585 와 −0.584 로 거의 같습니다. 가까울수록 잘 맞습니다.
뉴턴 방법은 이 포물면이 평평해지는 곳으로 한 번에 건너뜁니다. 포물면의 그래디언트 ∇f + H d 를 0 으로 두면 d = −H⁻¹ ∇f 입니다(H⁻¹ 은 역행렬). 입력이 하나면 x ← x − f′(x) ÷ f″(x) 입니다.
- P = (0.5, 1) 에서 한 스텝이면 (1.25, 0) 으로 갑니다. y² 은 정확히 포물선이라 y 는 한 번에 0 이 됩니다. x 는 되풀이하면 0.5 → 1.25 → 1.025 → 1.0003 으로, 몇 스텝 만에 바닥 (1, 0) 에 붙습니다.
- 땅이 정확히 2차식인 그릇이면 어디서 출발해도 한 스텝에 바닥에 닿습니다.
- 조심할 점: 뉴턴 방법은 「평평한 곳」으로 갈 뿐 바닥을 고르지 않습니다. P = (−0.5, 1) 에서는 헤시안이
[−3 0 / 0 2]라서 한 스텝이 (−1.25, 0), 곧 안장점 쪽으로 갑니다.
해 볼 것. 「2차 근사 겹쳐 보기」를 켜세요. ① P = (0.5, 1) 에서 주황 그물이 P 근처에서는 땅에 붙고, 멀어질수록 떨어집니다. 지도의 주황 고리(뉴턴 한 스텝)는 (1.25, 0) 입니다. ② P 를 (−0.5, 1) 로 옮기면 그물이 안장 모양이 되고, 고리는 (−1.25, 0) 에 있습니다. ③ 「그릇」에서는 어디에 두어도 고리가 (0, 0) 입니다. ④ 「평평한 골」에서는 헤시안의 행렬식이 0 이라 고리가 나오지 않습니다.
10. 볼록 함수: 어디서나 그릇 모양
땅 위의 두 점을 골라 곧은 막대를 걸쳐 봅니다. 어느 두 점을 골라도 막대가 땅을 뚫고 들어가지 않으면(땅보다 위에 있거나 닿으면) 그 함수는 볼록합니다. 두 번 미분할 수 있는 함수라면 같은 말을 헤시안으로 할 수 있습니다. 모든 자리에서 헤시안의 고윳값이 0 이상이면 볼록합니다. 어디서나 위로 휘거나 평평할 뿐, 아래로 휘는 곳이 없다는 뜻입니다.
x² + y²,x² + 4y²: 고윳값이 어디서나 + → 볼록.x²: 고윳값 2 와 0 → 볼록(0 도 괜찮습니다). 다만 바닥이 한 점이 아니라 x = 0 인 줄 전체입니다.x² − y²,xy: 어디서나 고윳값 하나가 − → 볼록하지 않음.x³ − 3x + y²: f_xx = 6x 가 x < 0 에서 − → 볼록하지 않음.
볼록하면 좋은 점. 그래디언트가 0 인 곳이 곧 전체에서 가장 낮은 곳입니다. 「여기는 근처에서만 낮은 바닥이 아닐까」를 걱정하지 않아도 되고, 학습률(learning rate)만 알맞으면 경사 하강법이 어디서 출발하든 가장 낮은 높이로 갑니다. 고윳값이 어디서나 0 보다 크면 가장 낮은 곳은 한 점뿐입니다. 최소제곱과 로지스틱 회귀의 손실은 볼록해서, 경사 하강법이 멈춘 곳이 곧 가장 낮은 곳입니다.
「공 굴리기」를 누르면 열두 개의 출발점(속이 빈 동그라미)에서 공이 경사 하강법으로 한꺼번에 내려갑니다. 출발점은 정해 둔 시드(난수의 시작값)로 만들어서 누를 때마다 같습니다. 막대 아래의 띠는 학습률 η 가 놓일 수 있는 범위입니다. 초록 부분은 바닥에서 튕겨 나가지 않는 범위(2 ÷ λ 까지), 주황 부분은 그것을 넘는 범위입니다.
해 볼 것. ① 「그릇」, η = 0.3 이면 공 12개가 모두 (0, 0) 에 멈춥니다(가장 늦은 공 9스텝). 볼록한 땅이라 출발점이 어디든 같은 바닥입니다. ② 「우물 넷」은 볼록하지 않습니다. η = 0.05 로 굴리면 (1, 1) 에 4개, (1, −1) 에 3개, (−1, 1) 에 3개, (−1, −1) 에 2개로 나뉩니다. 출발점이 어느 우물 쪽에 있었느냐가 도착점을 정합니다.
11. 학습률의 한계: 2 ÷ λ
그릇 모양의 땅에서는 헤시안이 학습률을 얼마까지 키워도 되는지 정합니다. 바닥을 원점에 둔 그릇 f = ½ dᵀ H d 에서 그래디언트는 H d 입니다. 경사 하강 한 스텝 d ← d − η H d 를 고유 방향마다 나눠 보면, 그 방향의 거리가 한 스텝에 (1 − η λ) 배가 됩니다.
|1 − ηλ| < 1이어야 줄어듭니다. 곧0 < η < 2 ÷ λ.- 방향이 여럿이면 모든 방향이 줄어야 하므로 가장 큰 고윳값이 한계를 정합니다.
η < 2 ÷ λ_max. η = 1 ÷ λ이면 그 방향은 한 스텝에 바닥입니다.1 ÷ λ와2 ÷ λ사이면 바닥을 넘어 반대쪽에 떨어지며(지그재그) 줄어듭니다.2 ÷ λ에서는 왔다 갔다만 하고, 넘으면 갈수록 멀어집니다.
그릇 x² + y² 은 헤시안이 [2 0 / 0 2] 라서 λ = 2, 한계는 1 입니다. η = 0.5 면 한 스텝에 바닥입니다.
길쭉한 그릇은 느립니다. x² + 10y² 은 고윳값이 20(y 쪽)과 2(x 쪽)입니다. 한계는 가파른 y 쪽이 정해 2 ÷ 20 = 0.1 입니다. 그런데 이렇게 작은 스텝으로는 완만한 x 쪽이 한 스텝에 1 − 0.1 × 2 = 0.8 배쯤밖에 줄지 않습니다. 가장 큰 고윳값 ÷ 가장 작은 고윳값을 조건수라고 부르고, 여기서는 10 입니다. 조건수가 클수록 가파른 쪽은 지그재그로 튀고 완만한 쪽은 기어가서, 바닥까지 오래 걸립니다.
해 볼 것. ① 「그릇」에서 η 를 0.5 로 두면 모든 공이 1스텝에 멈춥니다. 0.9 면 지그재그로 37스텝, 1 이면 12개 모두 1000스텝 안에 멈추지 못합니다(왔다 갔다). 1.01 부터는 모두 튕겨 나갑니다. ② 「아주 길쭉한 그릇」은 처음 η = 0.09 에서 지그재그로 46스텝 걸립니다. 막대를 0.1 아래 어디로 옮겨도 44스텝보다 빨라지지 않습니다. η = 0.105 면 모두 튕겨 나갑니다. ③ 「우물 넷」의 바닥은 헤시안이 [8 0 / 0 8] 이라 한계가 0.25 입니다. η = 0.25 로 굴리면 공이 바닥 둘레에서 왔다 갔다 하며 멈추지 못합니다.
모멘텀이나 Adam 처럼 이 지그재그를 줄이는 방법은 경사 하강법 쪽에서 직접 비교해 볼 수 있습니다.
12. 신경망의 손실 지형
신경망의 손실은 가중치가 수백만 개가 넘는 땅입니다. 이 땅에 대해 알려진 것을 조심스럽게 적으면 이렇습니다.
- 볼록하지 않습니다. 예를 들어 은닉층의 뉴런 둘을 들어오고 나가는 가중치까지 통째로 맞바꾸면 같은 함수가 됩니다. 그래서 같은 높이의 바닥이 여러 자리에 있고, 그 사이를 곧게 이으면 손실이 올라갈 수 있습니다. 볼록한 땅에서는 일어날 수 없는 일입니다.
- 안장점이 아주 많다고 봅니다. 바닥이려면 수백만 개의 고윳값이 모두 + 여야 합니다. 차원이 높으면 그래디언트가 0 인 곳 가운데 많은 수가 바닥이 아니라 안장점이고, 그 둘레의 평평한 곳에서 학습이 느려진다는 이론적 근거와 실험이 있습니다(Dauphin 외, 2014).
- 안장점에 딱 멈추는 일은 드뭅니다. 출발점을 무작위로 고르면, 몇 가지 조건 아래에서 경사 하강법이 안장점으로 모이지 않는다는 증명이 있습니다(Lee 외, 2016). 다만 가까이에서 오래 머무를 수는 있습니다.
헤시안은 너무 큽니다. 가중치가 n 개면 헤시안은 n × n 칸입니다. 백만 개면 1조(10¹²) 칸이고, 숫자 하나에 4바이트만 잡아도 4TB 입니다. 뉴턴 방법처럼 역행렬을 풀려면 계산이 더 큽니다. 그래서 큰 모델은 헤시안을 직접 쓰지 않습니다.
- 헤시안 전체 대신 「헤시안 × 화살표 하나」만 계산하는 방법이 있습니다. 그래디언트를 계산하는 것의 몇 배 정도 시간에 정확한 값이 나옵니다(Pearlmutter, 1994).
- Adam 같은 방법은 가중치마다 지난 기울기 제곱의 평균을 기억해 두고, 스텝을 그 제곱근으로 나눕니다(Kingma, Ba). 방향마다 스텝을 따로 맞추는 것이라, 헤시안의 대각선 쪽 정보(가중치 하나씩 본 휨)를 아주 거칠게 대신한다고 설명하기도 합니다. 다만 기울기의 제곱은 휨 그 자체가 아니어서 같은 것은 아닙니다. 자세한 것은 경사 하강법 쪽에 있습니다.
- BFGS, L-BFGS 같은 준뉴턴 방법은 최근 몇 스텝의 그래디언트 변화로 헤시안의 역행렬을 근사합니다(Goodfellow 외, 8.6절).
13. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 야코비안: 줄 = 출력, 칸 = 입력 | 칸 하나는 「그 입력만 조금 움직일 때 출력이 가는 화살표」. 출력이 하나면 한 줄이고, 그것이 그래디언트 |
F(P + d) ≈ F(P) + J × d | 아주 가까이에서는 휜 함수도 행렬 하나처럼 움직인다 |
| 야코비안의 행렬식 = 그 자리의 넓이 배수 | 음수면 뒤집힘, 0 이면 눌림. 극좌표에서는 r |
| 연쇄 법칙 = 야코비안의 곱 | 나중 단계가 왼쪽. 역전파는 뒤에서부터 곱한다 |
| 헤시안 = 그래디언트의 야코비안, 늘 대칭 | 고윳값은 실수이고 고유 방향은 직각. 고윳값 = 그 방향으로 휘는 정도 |
| 그래디언트 0 + 고윳값의 부호 → 모양 | 둘 다 + 바닥, 둘 다 − 꼭대기, 다르면 안장점, 0 이 있으면 판정 못 함 |
| 볼록 = 어디서나 고윳값 ≥ 0 | 임계점이 곧 가장 낮은 곳 |
| 학습률 < 2 ÷ λ_max | 넘으면 튕겨 나간다. 조건수가 크면 지그재그로 느리다 |
어디에 쓰나
- 역전파와 자동 미분. 층마다의 야코비안을 뒤에서부터 곱합니다. 야코비안을 통째로 만들지 않고 「한 줄 × 야코비안」만 계산해서 가볍습니다(역전파).
- 학습이 잘 안 될 때 원인 찾기. 손실이 튀거나 커지기만 하면 학습률(스텝 크기)이 가장 가파른 휨이 정하는 한계 2 ÷ λ_max 를 넘었을 수 있습니다. 길쭉한 골짜기(조건수가 큰 곳)에서는 느려집니다.
- 확률 분포 바꾸기. 정규화 흐름(normalizing flow) 같은 생성 모델은 쉬운 분포의 점을 되돌릴 수 있는 함수로 옮기고, 넓이(부피)가 바뀐 만큼 야코비안 행렬식으로 확률 밀도를 고칩니다. 그래서 행렬식을 빨리 구할 수 있게 함수를 설계합니다(Dinh 외, Real NVP).
- 변수 바꿔 적분하기. (r, θ) 처럼 좌표를 바꿔 넓이·부피를 더할 때 야코비안 행렬식의 크기를 곱합니다(적분).
- 최적화. 뉴턴 방법과 준뉴턴 방법은 헤시안(이나 그 근사)으로 스텝의 방향과 크기를 정합니다. 찾은 답이 바닥인지는 2계 판정법으로 확인합니다.
- 볼록 문제. 최소제곱, 로지스틱 회귀처럼 손실이 볼록하면 멈춘 곳이 곧 가장 좋은 답이라 결과를 믿을 수 있습니다.
자주 묻는 것
야코비안과 그래디언트는 무엇이 다른가요?
그래디언트는 출력이 하나인 함수의 편미분을 모은 것이고, 야코비안은 출력이 여럿일 때 출력마다 한 줄씩 쌓은 표입니다. 출력이 하나면 야코비안은 한 줄이고, 그 한 줄이 그래디언트입니다.
헤시안은 왜 늘 대칭인가요?
매끈한 함수(두 번 미분한 값이 끊기지 않는 함수)에서는 x 로 먼저 미분하고 y 로 미분하든, 순서를 바꾸든 같은 값이 나오기 때문입니다. 그래서 헤시안의 고윳값은 늘 실수이고, 두 고유 방향은 서로 직각입니다.
그래디언트가 0 인데 판정을 못 하는 때는 언제인가요?
헤시안의 고윳값에 0 이 있을 때입니다. 그 방향의 모양은 휨(2차)만으로는 알 수 없습니다. 예를 들어 x² + y⁴ 와 x² − y⁴ 는 원점의 헤시안이 똑같이 [2 0 / 0 0] 이지만, 앞의 것은 바닥이고 뒤의 것은 안장점입니다.
볼록하면 왜 좋은가요?
볼록한 함수에서는 그래디언트가 0 인 곳이 곧 전체에서 가장 낮은 곳입니다. 근처에서만 낮은 바닥에 갇힐 걱정이 없고, 학습률만 알맞으면 경사 하강법이 어디서 출발하든 가장 낮은 높이로 갑니다.
신경망 학습에서는 왜 헤시안을 직접 쓰지 않나요?
가중치가 n 개면 헤시안은 n × n 칸이라서, 가중치가 백만 개면 1조 칸입니다. 저장하기도 계산하기도 어렵습니다. 그래서 그래디언트만 쓰거나, 헤시안과 화살표 하나의 곱만 계산하거나, Adam 처럼 가중치마다 기울기 크기를 기억해 스텝을 따로 맞추는 방법을 씁니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 편미분을 모두 모은 표 | 야코비안 행렬(Jacobian matrix). J, ∂(x, y)/∂(r, θ) |
| 야코비안의 행렬식, 그 자리의 넓이 배수 | 야코비안 행렬식(Jacobian determinant). 책에 따라 이것만 「야코비안」이라고 부른다 |
| 가까이에서 보면 행렬 | 선형 근사(linear approximation), 선형화(linearization) |
| 한 줄 × 야코비안 | 벡터-야코비안 곱(vector-Jacobian product, VJP) |
| 두 번 미분한 것을 모은 표 | 헤시안 행렬(Hessian matrix). H, ∇²f |
| x 로 미분하고 y 로 또 미분한 것 | 혼합 편미분(mixed partial derivative). f_xy, ∂²f/∂x∂y |
| 미분하는 순서를 바꿔도 같다 | 슈바르츠 정리, 클레로 정리(Schwarz's theorem, Clairaut's theorem) |
| 그래디언트가 0 인 곳 | 임계점(critical point), 정류점(stationary point) |
| 바닥 / 꼭대기 | 극소 / 극대(local minimum / local maximum) |
| 한쪽은 오르막, 다른 쪽은 내리막인 곳 | 안장점(saddle point) |
| 고윳값의 부호로 가리기 | 2계 도함수 판정법(second derivative test) |
| 고윳값이 모두 + / 모두 0 이상 | 양의 정부호 / 양의 준정부호(positive definite / positive semidefinite) |
| 어디서나 그릇 모양 | 볼록 함수(convex function) |
| 전체에서 가장 낮은 곳 | 전역 최솟값(global minimum) |
| 그 자리의 포물면 근사 | 2차 근사(quadratic approximation), 2차 테일러 전개(second-order Taylor expansion) |
| 포물면이 평평한 곳으로 건너뛰기 | 뉴턴 방법(Newton's method) |
| 헤시안을 근사해서 쓰는 방법 | 준뉴턴 방법(quasi-Newton method). BFGS, L-BFGS |
| 헤시안 × 화살표 하나 | 헤시안-벡터 곱(Hessian-vector product) |
| 가장 큰 고윳값 ÷ 가장 작은 고윳값 | 조건수(condition number) |
| 한 스텝에 가는 거리 η | 학습률(learning rate), 스텝 크기(step size) |
출처
- OpenStax, Calculus Volume 3. 4.3 Partial Derivatives(혼합 편미분과 순서), 4.5 The Chain Rule, 4.7 Maxima/Minima Problems(2계 판정법), 5.7 Change of Variables in Multiple Integrals(야코비안과 넓이 배수).
- Goodfellow, Bengio, Courville, Deep Learning. 4장 Numerical Computation(야코비안·헤시안, 2계 판정법, 조건수와 학습률, 뉴턴 방법, 볼록 함수), 8장 Optimization for Training Deep Models(가중치 맞바꿈, 안장점, 준뉴턴 방법).
- Dauphin, Pascanu, Gulcehre, Cho, Ganguli, Bengio (2014). Identifying and attacking the saddle point problem in high-dimensional non-convex optimization.
- Lee, Simchowitz, Jordan, Recht (2016). Gradient Descent Converges to Minimizers.
- Pearlmutter (1994). Fast Exact Multiplication by the Hessian. Neural Computation 6(1).
- Kingma, Ba (2014). Adam: A Method for Stochastic Optimization.
- Dinh, Sohl-Dickstein, Bengio (2016). Density estimation using Real NVP.
- Baydin, Pearlmutter, Radul, Siskind (2018). Automatic Differentiation in Machine Learning: a Survey. JMLR 18(153). 역방향 모드와 벡터-야코비안 곱.