편미분과 그래디언트: 입력이 여럿일 때의 기울기
입력이 둘인 함수는 땅 모양으로 볼 수 있습니다. 자리 (x, y) 를 넣으면 그 자리의 높이가 나옵니다. 이런 땅에서 기울기는 어느 쪽으로 걷느냐에 따라 다릅니다. 동쪽으로 한 걸음, 북쪽으로 한 걸음 걸어 보는 것부터 시작합니다.
한 줄 답. 입력이 여럿인 함수는 땅 모양(지형)으로 볼 수 있습니다. 편미분은 다른 입력은 그대로 두고 하나만 움직였을 때의 기울기입니다. x 쪽(동쪽)으로 한 걸음, y 쪽(북쪽)으로 한 걸음 걸어 보는 것입니다. 이 편미분들을 한 묶음으로 모은 것이 그래디언트이고, 가장 가파른 오르막 방향을 가리키는 화살표입니다.
막대를 옮기면 점 P 가 움직입니다. 왼쪽 입체 그림에서 초록 선은 P 를 지나며 y 는 그대로 두고 x 만 바꾼 단면, 파란 선은 x 는 그대로 두고 y 만 바꾼 단면입니다. 오른쪽은 그 두 단면을 보통 그래프로 펼친 것이고, 검은 점선이 P 의 접선입니다. 땅은 진할수록 높습니다.
1. 편미분: 하나만 움직였을 때의 기울기
입력이 하나인 함수 f(x) 는 곡선입니다. 한 자리의 기울기는 하나로 정해집니다(미분). 입력이 둘인 함수 f(x, y) 는 땅입니다. 땅 위의 한 자리에 서 보면 동쪽으로는 오르막인데 북쪽으로는 내리막일 수 있습니다. 기울기가 걷는 방향에 따라 다릅니다.
가장 쉬운 방법은 한 번에 입력 하나만 움직이는 것입니다. y 를 그대로 두고 x 만 움직이면, 땅을 x 방향으로 자른 단면이 나옵니다. 실험의 초록 선입니다. 단면은 입력이 x 하나뿐인 보통 곡선이라, 보통 미분으로 기울기를 잴 수 있습니다. 이 기울기가 x 에 대한 편미분입니다. y 에 대한 편미분도 같은 방법으로, x 를 그대로 두고 y 만 움직여 잽니다.
∂f/∂x = h 를 0 에 가깝게 할 때 (f(x + h, y) − f(x, y)) ÷ h 가 다가가는 값 y 는 그대로
∂f/∂y = h 를 0 에 가깝게 할 때 (f(x, y + h) − f(x, y)) ÷ h 가 다가가는 값 x 는 그대로
| 적는 법 | 읽는 법 |
|---|---|
∂f/∂x | 「라운드 f 라운드 x」, 또는 「f 를 x 로 편미분한 것」. ∂ 는 둥근 d 로, 「입력이 여럿인데 이것 하나만 움직였다」는 표시 |
fx | 같은 뜻을 짧게 적은 것 |
∂f/∂x (1, 1) = 2 | 점 (1, 1) 에서 x 쪽 기울기가 2. 숫자 하나 |
해 볼 것. ① 처음 그대로(길쭉한 그릇 x² + 3y², P = (1, 1))면 높이는 4, ∂f/∂x = 2, ∂f/∂y = 6 입니다. 같은 자리인데 y 쪽이 세 배 가파릅니다. 오른쪽 두 그래프의 접선 기울기를 비교해 보세요. ② P 를 (0, 0) 으로 옮기면 두 편미분이 모두 0 입니다. 그릇의 바닥입니다. ③ 땅을 안장 x² − y² 으로 바꾸고 P = (1, 1) 에 두면 ∂f/∂x = 2, ∂f/∂y = −2 입니다. x 쪽은 오르막, y 쪽은 내리막입니다. P 를 (0, 0) 에 두면 둘 다 0 이지만, x 단면은 바닥(∪)이고 y 단면은 꼭대기(∩)입니다. ④ 물결 sin x · cos y 의 (0, 0) 에서는 ∂f/∂x = 1, ∂f/∂y = 0 입니다. y 단면이 높이 0 인 평평한 선입니다.
2. 계산하는 법: 다른 글자는 숫자로 본다
편미분을 계산할 때 새로 배울 규칙은 하나뿐입니다. x 로 편미분할 때는 y 를 이미 정해진 숫자(상수)로 봅니다. 그다음은 보통 미분 표 그대로입니다. y 로 편미분할 때는 x 를 숫자로 봅니다.
손으로 따라 풀기: f(x, y) = x²y + 3y, 점 (2, 1).
- x 로 편미분한다. y 를 숫자로 봅니다.
x²y는 「x² 에 숫자 y 를 곱한 것」이라 미분하면2x × y.3y에는 x 가 없으니 상수이고, 미분하면 0. 그래서∂f/∂x = 2xy. - y 로 편미분한다. 이번에는 x 를 숫자로 봅니다.
x²y는 「숫자 x² 곱하기 y」라 미분하면x².3y는3. 그래서∂f/∂y = x² + 3. - 점 (2, 1) 을 넣는다.
∂f/∂x = 2 × 2 × 1 = 4,∂f/∂y = 2² + 3 = 7. - 묶는다. 그래디언트는
∇f(2, 1) = (4, 7), 길이는√(4² + 7²) = √65 ≈ 8.06입니다. - 숫자로 확인한다. 그 자리의 높이는
f(2, 1) = 4 + 3 = 7. x 만 0.001 움직이면f(2.001, 1) = 7.004001이라0.004001 ÷ 0.001 = 4.001, 4 에 가깝습니다. y 만 0.001 움직이면f(2, 1.001) = 7.007이라0.007 ÷ 0.001 = 7입니다.
자주 하는 실수는 x 로 편미분하면서 3y 를 3 으로 바꾸는 것입니다. x 로 편미분할 때 y 는 숫자일 뿐이라 3y 는 상수이고, 미분하면 0 입니다.
실험에서 고르는 땅의 편미분도 같은 방법으로 구했습니다.
| 땅 | f(x, y) | ∂f/∂x | ∂f/∂y |
|---|---|---|---|
| 그릇 | x² + y² | 2x | 2y |
| 길쭉한 그릇 | x² + 3y² | 2x | 6y |
| 안장 | x² − y² | 2x | −2y |
| 물결 | sin x · cos y | cos x · cos y | −sin x · sin y |
| 언덕 둘 | 2A + B | −4(x − 1)A − 2(x + 1)B | −4(y − 1)A − 2(y + 1)B |
언덕 둘의 A = e^(−((x − 1)² + (y − 1)²)) 는 (1, 1) 에 솟은 언덕, B = e^(−((x + 1)² + (y + 1)²)) 는 (−1, −1) 에 솟은 언덕입니다. 편미분은 연쇄 법칙으로 구합니다. 실험은 이 식으로 기울기를 계산하고, 주소 끝에 ?test 를 붙이면 h 를 아주 작게 두고 직접 잰 값과 같은지 스스로 검사합니다.
3. 그래디언트: 편미분을 한 묶음으로
편미분을 입력 순서대로 모아 화살표(벡터) 하나로 묶은 것이 그래디언트입니다. ∇f 로 적고 「나블라 f」 또는 「델 f」라고 읽습니다. 입력이 n 개면 숫자 n 개짜리 화살표입니다.
∇f = (∂f/∂x, ∂f/∂y) 예: x² + 3y² 이면 ∇f = (2x, 6y), 점 (1, 1) 에서 (2, 6)
미분 쪽의 7절에서 그릇 하나로 짧게 보았습니다. 여기서는 땅을 바꿔 가며, 지도 전체에 화살표를 깔아 봅니다.
점 P = ( , )
점 P 를 끌거나 칸에 숫자를 넣으세요. 초록 화살표는 x 만 움직인 기울기, 파란 화살표는 y 만 움직인 기울기, 검은 화살표는 둘을 묶은 그래디언트입니다. 그래디언트는 두 화살표로 만든 네모의 대각선입니다. 연한 초록 선은 등고선, 주황 선은 P 와 같은 높이의 등고선입니다. 「지도 전체에 화살표」를 켜면 회색 화살표가 깔립니다. 서로 겹치지 않게 모두 같은 배율로 줄였고, 길이의 비율은 그대로입니다.
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 가장 가파른 오르막 방향을 가리킨다 | 같은 한 걸음이라면 이쪽으로 걸을 때 가장 많이 올라간다 | 검은 화살표의 방향 |
| 길이 = 그쪽의 기울기(가파른 정도) | 화살표가 길수록 가파르다. 짧으면 완만하다 | (1, 1) 에서 √(2² + 6²) = √40 ≈ 6.32 |
| 등고선에 직각이다 | 등고선을 따라 걸으면 높이가 그대로라 그쪽 기울기는 0. 가장 가파른 쪽은 거기에 직각이다 | 주황 직각 표시 |
반대쪽(−∇f)이 가장 가파른 내리막 | 내려가려면 화살표를 거꾸로 따라간다 | 6절의 실험 |
| 0 이면 평평한 곳 | 바닥, 꼭대기, 안장의 가운데. 그래디언트만으로는 셋을 가를 수 없다 | 그릇의 (0, 0), 언덕의 (1, 1), 안장의 (0, 0) |
해 볼 것. ① 처음 P = (1, 1) 에서 그래디언트는 (2, 6), 길이는 6.32 입니다. 검은 화살표가 주황 등고선과 직각인지 보세요. ② 땅을 그릇 x² + y² 으로 바꾸고 P 를 (2, 1) 에 두면 그래디언트는 (4, 2), 길이 4.47 입니다. 그릇에서는 화살표가 늘 가운데에서 바깥으로 곧게 뻗고, 가운데에서 멀수록 깁니다. ③ 「지도 전체에 화살표」를 켜고 언덕 둘을 고르세요. 화살표가 저마다 가까운 꼭대기 쪽을 향하고, 큰 꼭대기 (1, 1) 에서는 그래디언트가 (0, 0) 입니다. ④ 안장의 (0, 0) 도 그래디언트가 (0, 0) 이지만 바닥이 아닙니다. 둘레의 화살표를 보면 x 쪽에서는 바깥으로, y 쪽에서는 안으로 향합니다.
4. 방향도함수: 아무 쪽으로나 걸을 때의 기울기
동쪽과 북쪽만 있는 것이 아닙니다. 북동쪽이나 남서쪽으로 걸을 때의 기울기도 그래디언트 하나로 바로 나옵니다. 걷는 방향을 길이 1 인 화살표 u = (cos θ, sin θ) 로 적습니다. θ 는 x 쪽(오른쪽)에서 시계 반대 방향으로 잰 각도입니다.
그쪽 기울기 = ∇f · u = ∂f/∂x × cos θ + ∂f/∂y × sin θ
책에서는 이것을 방향도함수라고 부르고 Duf 로 적습니다. 식은 그래디언트와 방향의 내적입니다. 아주 작은 한 걸음을 x 쪽 cos θ 만큼과 y 쪽 sin θ 만큼으로 나누어 가면, 높이는 x 쪽에서 ∂f/∂x × cos θ, y 쪽에서 ∂f/∂y × sin θ 만큼 바뀝니다. 그 둘을 더한 것입니다. 이 식이 만들어지는 과정은 5절에서 그림으로 한 단계씩 봅니다.
예: P = (1, 1) 에서 ∇f = (2, 6), θ = 30° 이면 u = (0.866, 0.5) 이고 기울기는 2 × 0.866 + 6 × 0.5 ≈ 4.73 입니다.
내적은 (그래디언트의 길이) × (u 의 길이 1) × cos(둘 사이의 각) 이기도 합니다. 그래서 세 가지가 바로 나옵니다.
- 그래디언트 쪽(사이각 0°)에서 가장 크고, 그 값은 그래디언트의 길이입니다.
- 반대쪽(180°)에서 가장 작고, 그 값은 −(그래디언트의 길이)입니다. 가장 가파른 내리막입니다.
- 직각인 쪽(90°)에서 0 입니다. 그쪽이 등고선 방향입니다.
편미분은 방향도함수의 특별한 경우입니다. θ = 0° 이면 u = (1, 0) 이라 ∂f/∂x, θ = 90° 이면 ∂f/∂y 가 나옵니다.
점 P = ( , )
「방향 θ」 막대로 보라 화살표 u 를 돌립니다. 연보라 띠는 검은 그래디언트 화살표가 u 위에 드리운 그림자이고, 그 길이가 그쪽 기울기입니다. 오른쪽 아래의 동그란 그래프는 방향마다의 기울기를 한 바퀴 그린 것입니다. 점선 고리가 기울기 0, 고리 밖으로 나온 만큼이 오르막(주황, +), 안으로 들어온 만큼이 내리막(파랑, −)입니다. 그래프의 방향은 지도와 같습니다(오른쪽이 0°, 위가 90°).
해 볼 것. ① 처음 그대로(길쭉한 그릇, P = (1, 1), θ = 0°)면 기울기는 2 로, ∂f/∂x 와 같습니다. 막대를 90° 로 옮기면 6 으로, ∂f/∂y 와 같습니다. 30° 에서는 4.73 입니다. ② 「그래디언트 쪽」을 누르면 θ 가 71.6° 가 되고 기울기는 6.32 로 가장 큽니다. 그래디언트의 길이와 같습니다. ③ 「반대쪽」을 누르면 251.6° 에서 −6.32 로 가장 작습니다. ④ 「등고선 쪽」을 누르면 161.6° 에서 0 입니다. 보라 화살표가 주황 등고선을 따라 놓입니다. ⑤ 안장을 고르고 P 를 (1, 0) 에 두면 0° 에서 2, 90° 에서 0, 180° 에서 −2 입니다.
5. 식이 만들어지는 과정: 방향도함수
4절의 식 ∇f · u = ∂f/∂x × cos θ + ∂f/∂y × sin θ 가 어디서 나오는지 한 단계씩 봅니다. 생각은 하나입니다. 비스듬한 한 걸음을 가로 걸음과 세로 걸음으로 쪼개면, 두 걸음은 저마다 입력 하나만 움직이는 걸음이라 오르는 높이를 편미분으로 근사할 수 있습니다. 자료는 4절의 예와 같습니다: 길쭉한 그릇 x² + 3y², P = (1, 1), θ = 30°.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 왼쪽은 P 둘레를 위에서 본 지도이고, 오른쪽은 걸으며 오른 높이입니다. 보라는 곧장 가는 한 걸음, 초록은 x 만 움직이는 가로 걸음, 파랑은 y 만 움직이는 세로 걸음입니다. 오른쪽의 곡선은 실제 높이, 검은 점선은 편미분을 기울기로 쓴 계단, 주황 막대는 둘의 차이입니다. 「걸음 h」는 ⑤ 단계부터 바꿀 수 있습니다.
- 한 걸음:
f(Q) − f(P). P 에서 방향 u 로 h 만큼 걸어 닿은 곳이 Q = P + h·u 입니다. u 는 길이가 1 이라 걸은 거리가 h 입니다. 그림이 잘 보이게 h = 1 로 크게 걷습니다. Q = (1.866, 1.5) 이고, 높이는 4 에서 10.23 으로 6.23 오릅니다. 알고 싶은 것은 걸은 거리 1 마다 몇 오르나(기울기)라서, 마지막에 h 로 나눕니다. - ㄱ 자로 쪼개기:
= [f(R) − f(P)] + [f(Q) − f(R)]. 곧장 가는 대신 x 쪽으로h·cos θ(0.866) 가서 모퉁이 R = (1.866, 1) 에 들르고, y 쪽으로h·sin θ(0.5) 가서 Q 에 닿습니다. 높이는 자리만으로 정해지니 어느 길로 가든 Q 에서 오른 높이는 같습니다. 이 줄은 근사가 아니라 정확히 같습니다: 6.23 = 2.48 + 3.75. 까닭: 가로 걸음은 y 가 그대로, 세로 걸음은 x 가 그대로라 둘 다 입력 하나만 움직이는 걸음이 됩니다. 그런 걸음의 기울기가 바로 편미분입니다. - 가로 계단:
f(R) − f(P) ≈ ∂f/∂x × h·cos θ. 기울기 × 거리 = 오른 높이입니다. P 의 x 쪽 기울기는 2 라2 × 0.866 = 1.73오른다고 근사합니다. 실제는 2.48 로 0.75 더 오릅니다. 걷는 동안 기울기가 2 에서 점점 커지기(땅이 휘기) 때문입니다. 이 차이는0.75 × h × h라서 h 보다 빨리 줄어듭니다(⑤). - 세로 계단:
f(Q) − f(R) ≈ ∂f/∂y × h·sin θ.6 × 0.5 = 3이고, 실제는 3.75 입니다. 두 계단의 합은 4.73 으로, 실제 6.23 과 1.5 차이입니다. 엄밀히는 이 걸음이 R 에서 출발하므로 R 의 ∂f/∂y 를 써야 합니다. 이 땅은∂f/∂y = 6y라 R 에서도 6 입니다. 다른 땅에서도 편미분이 끊김 없이 바뀌면 h 가 작을 때 R 의 값이 P 의 값에 다가갑니다. 이 부분의 엄밀한 증명(보통 평균값 정리를 쓴다)은 여기서 하지 않습니다. - h 로 나누고 h 를 줄이기:
(f(Q) − f(P)) ÷ h → ∂f/∂x × cos θ + ∂f/∂y × sin θ. 오른 높이를 걸은 거리 h 로 나누면 기울기입니다. 계단 쪽은 h 가 지워져 h 와 상관없이2 × 0.866 + 6 × 0.5 = 4.73입니다. 실제 쪽은 아래 표처럼 h 를 줄일수록 4.73 에 다가갑니다. 이 땅에서는 차이가 꼭1.5 × h입니다. h 를 0 에 가깝게 할 때 다가가는 값이 방향도함수Duf의 정의이고, 그 값이 오른쪽 식입니다. - 내적으로 묶기:
Duf = ∇f · u. 오른쪽은 (∂f/∂x, ∂f/∂y) 와 (cos θ, sin θ) 를 짝지어 곱해 더한 꼴이라, 그래디언트와 u 의 내적입니다. 내적은|∇f| × |u| × cos(사이각)이기도 하고 |u| = 1 이니, u 를 ∇f 쪽(θ = 71.6°)으로 돌려 사이각이 0 이 되면 가장 큽니다. 그 값이|∇f| = √40 ≈ 6.32입니다. 그래디언트가 가장 가파른 오르막 방향인 까닭이 여기서 나옵니다.
| h | 실제로 오른 높이 ÷ h | 두 계단 ÷ h | 차이 |
|---|---|---|---|
| 1 | 6.232 | 4.732 | 1.5 |
| 0.5 | 5.482 | 4.732 | 0.75 |
| 0.1 | 4.882 | 4.732 | 0.15 |
| 0.01 | 4.747 | 4.732 | 0.015 |
해 볼 것. ① 「다음」을 두 번 눌러 ③ 가로 계단으로 가면 초록 계단이 1.73 오르고, 실제 초록 곡선은 2.48 까지 올라 주황 막대만큼(0.75) 차이가 남습니다. ② ⑤ 단계에서는 h 가 1 에서 0.1 로 줄며 실제 곡선이 계단에 붙고, 차이가 0.15 가 됩니다. 「걸음 h」를 0.5 와 0.01 로 바꾸면 차이가 0.75 와 0.015 입니다. h 를 반으로 줄이면 차이도 반이 됩니다. ③ 마지막 단계에서는 보라 u 가 검은 ∇f 화살표 쪽으로 돌고, 두 계단의 합이 4.73 에서 6.32 로 커져 점선 |∇f| 에 닿습니다.
6. 경사 하강법: 그래디언트의 반대로 한 스텝
낮은 곳을 찾으려면 가장 가파른 내리막, 곧 그래디언트의 반대쪽으로 조금 갑니다. 학습률(learning rate)을 η(「에타」)라고 하면 한 스텝은 이렇습니다.
새 자리 = 지금 자리 − η × ∇f
예: 길쭉한 그릇의 P = (1, 1), η = 0.1 이면 (1, 1) − 0.1 × (2, 6) = (0.8, 0.4) 이고, 높이는 4 에서 1.12 로 내려갑니다. 이 스텝을 되풀이하는 것이 경사 하강법입니다.
점 P = ( , )
「한 스텝」을 누르면 P 가 보라 점선 화살표만큼 갑니다. 지나온 자리는 주황 점과 선으로 남습니다. P 를 끌거나 칸에 숫자를 넣으면 그 자리에서 다시 출발합니다. 「다시」는 처음 출발한 자리로 돌아갑니다.
안장에서는 내려가는 쪽과 올라가는 쪽이 같이 있습니다. 안장 x² − y² 의 가운데 (0, 0) 은 그래디언트가 (0, 0) 이라 한 스텝을 가도 움직이지 않습니다. 그런데 바닥이 아닙니다. 거기서 x 쪽으로 가면 높이 x² 만큼 올라가고, y 쪽으로 가면 −y² 만큼 내려갑니다. 그래서 y 가 0 에서 조금만 비켜 있어도, 점은 처음에는 가운데로 오다가 y 쪽으로 미끄러져 내려갑니다.
해 볼 것. ① 처음 그대로(길쭉한 그릇, P = (1, 1), η = 0.1) 「한 스텝」을 누르면 (0.8, 0.4), 높이 4 → 1.12 입니다. 한 번 더 누르면 (0.64, 0.16), 높이 0.49 입니다. 「다시」를 누르고 「열 스텝」을 누르면 스텝 10 에서 (0.11, 0), 높이 0.01 로 바닥에 거의 닿습니다. ② 「다시」를 누르고 η 를 0.4 로 올려 「열 스텝」을 누르세요. y 가 1, −1.4, 1.96, −2.74 로 커지며 흔들리다가, 네 번째 스텝이 지도 밖으로 나가 스텝 3 에서 멈춥니다. 스텝이 너무 크면 바닥을 지나쳐 튕겨 나갑니다. ③ η 를 0.1 로 되돌리고 땅을 안장으로 바꾼 뒤 P 를 (2, 0) 에 두세요. 「열 스텝」 세 번(스텝 30)이면 P 가 (0, 0) 에 닿아 멈춥니다. 평평하지만 바닥은 아닙니다. ④ P 를 (2, 0.1) 로 옮기고 「열 스텝」을 누르면 (0.21, 0.62), 높이 −0.34 입니다. 한 번 더 누르면 스텝 18 에서 (0.04, 2.66), 높이 −7.09 까지 내려간 뒤 지도 밖으로 나갑니다.
학습률을 어떻게 정하는지, 관성을 더한 모멘텀이나 방향마다 스텝을 바꾸는 Adam 같은 방법은 경사 하강법 쪽에서 직접 경주시켜 볼 수 있습니다.
7. 다변수 연쇄 법칙: 변수가 여럿일 때
x 와 y 가 둘 다 다른 값 t 에 따라 바뀐다고 합시다. 땅 위를 시간 t 에 따라 걸어가는 경우입니다. 그러면 t 를 조금 바꿀 때 높이가 바뀌는 빠르기는, x 를 거쳐 오는 몫과 y 를 거쳐 오는 몫을 더한 것입니다. 길마다 배수를 곱하고(연쇄 법칙), 갈라졌던 길이 다시 모이면 더합니다.
df/dt = ∂f/∂x × dx/dt + ∂f/∂y × dy/dt
예: x² + 3y² 위를 (x, y) = (t, t) 로 걸으면 dx/dt = dy/dt = 1 이라 df/dt = 2x × 1 + 6y × 1 = 2t + 6t = 8t 입니다. 먼저 넣고 풀어도 f = t² + 3t² = 4t² 이라 미분하면 8t, 같습니다. 신경망에서 한 값이 여러 갈래로 쓰일 때 기울기를 더하는 것도 이 규칙입니다(역전파의 6절).
8. 입력이 수백만 개여도 같은 생각
AI 모델이 얼마나 틀렸는지를 나타내는 값(손실)은 가중치 w₁, w₂, …, wₙ 의 함수입니다. 가중치가 수백만 개면 입력이 수백만 개인 함수입니다. 땅으로 그릴 수는 없지만 생각은 그대로입니다.
- 가중치마다 편미분이 하나씩 있습니다:
∂손실/∂w₁,∂손실/∂w₂, … 「다른 가중치는 그대로 두고 이것 하나만 조금 바꾸면 손실이 몇 배로 바뀌나」입니다. - 이것을 모두 묶은 숫자 n 개짜리 화살표가 손실의 그래디언트이고, 가장 가파른 오르막 방향입니다.
- 학습은 그 반대쪽으로 한 스텝 가는 것입니다:
모든 가중치 ← 가중치 − η × 그래디언트.
문제는 n 개를 구하는 비용입니다. 가중치를 하나씩 조금 흔들어 재면 모델을 n 번 넘게 다시 계산해야 합니다. 수백만 번입니다. 역전파는 연쇄 법칙을 출력에서 입력 쪽으로 거꾸로 적용해, 한 번의 거꾸로 계산으로 모든 편미분을 구합니다. 걸리는 시간은 모델을 한 번 계산하는 것의 몇 배 정도입니다.
# PyTorch 로 2절의 손 예제를 계산한다
import torch
p = torch.tensor([2.0, 1.0], requires_grad=True) # (x, y) = (2, 1)
f = p[0] ** 2 * p[1] + 3 * p[1] # x²y + 3y
f.backward() # 거꾸로 연쇄 법칙을 적용한다
print(p.grad) # tensor([4., 7.]) 손 계산과 같다
9. 더 나아가면: 전미분, 야코비안, 헤시안
이름과 한 줄씩만 적습니다. 자세한 것은 야코비안과 헤시안 쪽에 있습니다.
- 전미분. 모든 입력을 동시에 조금씩 바꿀 때 출력이 얼마나 바뀌는지를 근사하는 식입니다:
df ≈ ∂f/∂x × dx + ∂f/∂y × dy. - 야코비안. 출력도 여럿일 때, 출력마다의 그래디언트를 한 줄씩 쌓은 표(행렬)입니다.
- 헤시안. 편미분을 한 번 더 편미분한 값들의 표입니다. 땅이 어떻게 휘었는지 알려 주어, 그래디언트가 0 인 곳이 바닥인지 꼭대기인지 안장인지 가릅니다.
어디에 쓰나
- AI 학습. 손실을 가중치마다 편미분해 그래디언트를 구하고(역전파), 그 반대쪽으로 조금씩 가중치를 고칩니다(경사 하강법).
- 땅의 기울기와 물. 높이 지도를 자리의 함수로 보면, 그래디언트의 길이가 그 자리의 경사이고, 그 반대쪽이 가장 가파르게 내려가는 쪽입니다. 비탈에 놓인 공이나 물은 대체로 그쪽으로 흘러내립니다.
- 열 흐름. 온도를 자리의 함수로 보면, 열은 뜨거운 곳에서 차가운 곳으로, 곧 온도 그래디언트의 반대쪽으로 흐릅니다. 온도가 가파르게 바뀔수록 빨리 흐릅니다.
- 그림의 가장자리 찾기. 흑백 그림의 밝기를 자리의 함수로 보면, 가장자리는 밝기가 갑자기 바뀌는 곳, 곧 그래디언트가 긴 곳입니다. 소벨(Sobel) 필터처럼 이웃 칸의 차이로
∂/∂x,∂/∂y를 근사하는 작은 필터를 그림 위에서 옮기며 계산합니다(합성곱).
자주 묻는 것
편미분은 보통 미분과 무엇이 다른가요?
계산하는 법은 같습니다. 입력이 여럿일 때 하나만 움직이고 나머지는 정해진 숫자로 보고 미분합니다. 그래서 입력마다 하나씩, 입력 수만큼의 편미분이 나옵니다.
∂ 와 d 는 무엇이 다른가요?
둘 다 「아주 작은 변화」를 뜻합니다. ∂ 는 「입력이 여럿이고, 그 가운데 하나만 움직였다」는 표시입니다. 입력이 하나뿐인 함수에는 d 를 씁니다.
그래디언트는 왜 가장 가파른 오르막 방향인가요?
어느 방향 u 로 가든 그쪽의 기울기는 그래디언트와 u 의 내적입니다. 내적은 두 화살표가 같은 쪽을 볼 때 가장 크고, 그때의 값이 그래디언트의 길이입니다.
그래디언트가 0 이면 바닥인가요?
꼭 그렇지는 않습니다. 바닥, 꼭대기, 안장의 가운데에서 모두 0 입니다. 안장 x² − y² 의 (0, 0) 은 x 쪽으로 가면 올라가고 y 쪽으로 가면 내려갑니다. 셋 가운데 무엇인지는 땅이 휜 모양(헤시안)을 보고 가릅니다.
입력이 수백만 개인 AI 모델은 편미분을 어떻게 다 구하나요?
가중치를 하나씩 조금 흔들어 재면 모델을 수백만 번 다시 계산해야 합니다. 대신 역전파를 씁니다. 연쇄 법칙을 출력에서 입력 쪽으로 거꾸로 적용해, 한 번의 거꾸로 계산으로 모든 가중치의 편미분을 구합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 하나만 움직였을 때의 기울기 | 편미분(partial derivative). ∂f/∂x, fx |
| 한 입력을 고정하고 자른 땅의 모양 | 단면(cross-section), 자취(trace) |
| 편미분을 묶은 화살표 | 그래디언트(gradient), 기울기 벡터(gradient vector). ∇f |
| ∇ 기호 | 나블라(nabla), 델(del) |
| 아무 방향으로 걸을 때의 기울기 | 방향도함수(directional derivative). Duf |
| 길이 1 인 방향 화살표 | 단위 벡터(unit vector) |
| 같은 높이를 이은 선 | 등고선(contour line, level curve) |
| 지도 전체에 깐 화살표 | 벡터장(vector field), 그래디언트 장(gradient field) |
| 그래디언트의 반대로 한 스텝씩 | 경사 하강법(gradient descent), 최급강하법(steepest descent) |
| 한 스텝에 가는 거리 | 학습률(learning rate), 스텝 크기(step size). η |
| 그래디언트가 0 인 곳 | 임계점(critical point), 정류점(stationary point) |
| 안장의 가운데 | 안장점(saddle point) |
| 갈라진 길의 몫을 더하는 연쇄 법칙 | 다변수 연쇄 법칙(multivariable chain rule) |
| 모든 입력을 조금씩 바꿀 때의 변화 | 전미분(total differential) |
| 출력마다의 그래디언트를 쌓은 표 | 야코비 행렬, 야코비안(Jacobian matrix) |
| 편미분을 두 번 한 값의 표 | 헤세 행렬, 헤시안(Hessian matrix) |
출처
- OpenStax, Calculus Volume 3. 4.1 Functions of Several Variables(등고선, 자취), 4.3 Partial Derivatives, 4.4 Tangent Planes and Linear Approximations(전미분), 4.5 The Chain Rule, 4.6 Directional Derivatives and the Gradient.
- Rumelhart, Hinton, Williams (1986). Learning representations by back-propagating errors. Nature.
- Baydin, Pearlmutter, Radul, Siskind (2018). Automatic Differentiation in Machine Learning: a Survey. JMLR 18(153). 거꾸로 계산하는 방식(역방향 모드)의 비용.
- PyTorch torch.autograd 문서.
- OpenStax, University Physics Volume 2. 1.6 Mechanisms of Heat Transfer. 온도 차이가 클수록 열이 빨리 전해진다.
- OpenCV 문서. Image Gradients. 소벨 필터로 가로·세로 방향의 밝기 변화를 구한다.