편미분과 그래디언트: 입력이 여럿일 때의 기울기

입력이 둘인 함수는 땅 모양으로 볼 수 있습니다. 자리 (x, y) 를 넣으면 그 자리의 높이가 나옵니다. 이런 땅에서 기울기는 어느 쪽으로 걷느냐에 따라 다릅니다. 동쪽으로 한 걸음, 북쪽으로 한 걸음 걸어 보는 것부터 시작합니다.

한 줄 답. 입력이 여럿인 함수는 땅 모양(지형)으로 볼 수 있습니다. 편미분은 다른 입력은 그대로 두고 하나만 움직였을 때의 기울기입니다. x 쪽(동쪽)으로 한 걸음, y 쪽(북쪽)으로 한 걸음 걸어 보는 것입니다. 이 편미분들을 한 묶음으로 모은 것이 그래디언트이고, 가장 가파른 오르막 방향을 가리키는 화살표입니다.

막대를 옮기면 점 P 가 움직입니다. 왼쪽 입체 그림에서 초록 선은 P 를 지나며 y 는 그대로 두고 x 만 바꾼 단면, 파란 선은 x 는 그대로 두고 y 만 바꾼 단면입니다. 오른쪽은 그 두 단면을 보통 그래프로 펼친 것이고, 검은 점선이 P 의 접선입니다. 땅은 진할수록 높습니다.

1. 편미분: 하나만 움직였을 때의 기울기

입력이 하나인 함수 f(x) 는 곡선입니다. 한 자리의 기울기는 하나로 정해집니다(미분). 입력이 둘인 함수 f(x, y) 는 땅입니다. 땅 위의 한 자리에 서 보면 동쪽으로는 오르막인데 북쪽으로는 내리막일 수 있습니다. 기울기가 걷는 방향에 따라 다릅니다.

가장 쉬운 방법은 한 번에 입력 하나만 움직이는 것입니다. y 를 그대로 두고 x 만 움직이면, 땅을 x 방향으로 자른 단면이 나옵니다. 실험의 초록 선입니다. 단면은 입력이 x 하나뿐인 보통 곡선이라, 보통 미분으로 기울기를 잴 수 있습니다. 이 기울기가 x 에 대한 편미분입니다. y 에 대한 편미분도 같은 방법으로, x 를 그대로 두고 y 만 움직여 잽니다.

∂f/∂x = h 를 0 에 가깝게 할 때 (f(x + h, y) − f(x, y)) ÷ h 가 다가가는 값   y 는 그대로

∂f/∂y = h 를 0 에 가깝게 할 때 (f(x, y + h) − f(x, y)) ÷ h 가 다가가는 값   x 는 그대로

적는 법읽는 법
∂f/∂x「라운드 f 라운드 x」, 또는 「f 를 x 로 편미분한 것」. ∂ 는 둥근 d 로, 「입력이 여럿인데 이것 하나만 움직였다」는 표시
fx같은 뜻을 짧게 적은 것
∂f/∂x (1, 1) = 2점 (1, 1) 에서 x 쪽 기울기가 2. 숫자 하나

해 볼 것. ① 처음 그대로(길쭉한 그릇 x² + 3y², P = (1, 1))면 높이는 4, ∂f/∂x = 2, ∂f/∂y = 6 입니다. 같은 자리인데 y 쪽이 세 배 가파릅니다. 오른쪽 두 그래프의 접선 기울기를 비교해 보세요. ② P 를 (0, 0) 으로 옮기면 두 편미분이 모두 0 입니다. 그릇의 바닥입니다. ③ 땅을 안장 x² − y² 으로 바꾸고 P = (1, 1) 에 두면 ∂f/∂x = 2, ∂f/∂y = −2 입니다. x 쪽은 오르막, y 쪽은 내리막입니다. P 를 (0, 0) 에 두면 둘 다 0 이지만, x 단면은 바닥(∪)이고 y 단면은 꼭대기(∩)입니다. ④ 물결 sin x · cos y 의 (0, 0) 에서는 ∂f/∂x = 1, ∂f/∂y = 0 입니다. y 단면이 높이 0 인 평평한 선입니다.

2. 계산하는 법: 다른 글자는 숫자로 본다

편미분을 계산할 때 새로 배울 규칙은 하나뿐입니다. x 로 편미분할 때는 y 를 이미 정해진 숫자(상수)로 봅니다. 그다음은 보통 미분 표 그대로입니다. y 로 편미분할 때는 x 를 숫자로 봅니다.

손으로 따라 풀기: f(x, y) = x²y + 3y, 점 (2, 1).

  1. x 로 편미분한다. y 를 숫자로 봅니다. x²y 는 「x² 에 숫자 y 를 곱한 것」이라 미분하면 2x × y. 3y 에는 x 가 없으니 상수이고, 미분하면 0. 그래서 ∂f/∂x = 2xy.
  2. y 로 편미분한다. 이번에는 x 를 숫자로 봅니다. x²y 는 「숫자 x² 곱하기 y」라 미분하면 x². 3y 는 3. 그래서 ∂f/∂y = x² + 3.
  3. 점 (2, 1) 을 넣는다. ∂f/∂x = 2 × 2 × 1 = 4, ∂f/∂y = 2² + 3 = 7.
  4. 묶는다. 그래디언트는 ∇f(2, 1) = (4, 7), 길이는 √(4² + 7²) = √65 ≈ 8.06 입니다.
  5. 숫자로 확인한다. 그 자리의 높이는 f(2, 1) = 4 + 3 = 7. x 만 0.001 움직이면 f(2.001, 1) = 7.004001 이라 0.004001 ÷ 0.001 = 4.001, 4 에 가깝습니다. y 만 0.001 움직이면 f(2, 1.001) = 7.007 이라 0.007 ÷ 0.001 = 7 입니다.

자주 하는 실수는 x 로 편미분하면서 3y 를 3 으로 바꾸는 것입니다. x 로 편미분할 때 y 는 숫자일 뿐이라 3y 는 상수이고, 미분하면 0 입니다.

실험에서 고르는 땅의 편미분도 같은 방법으로 구했습니다.

땅f(x, y)∂f/∂x∂f/∂y
그릇x² + y²2x2y
길쭉한 그릇x² + 3y²2x6y
안장x² − y²2x−2y
물결sin x · cos ycos x · cos y−sin x · sin y
언덕 둘2A + B−4(x − 1)A − 2(x + 1)B−4(y − 1)A − 2(y + 1)B

언덕 둘의 A = e^(−((x − 1)² + (y − 1)²)) 는 (1, 1) 에 솟은 언덕, B = e^(−((x + 1)² + (y + 1)²)) 는 (−1, −1) 에 솟은 언덕입니다. 편미분은 연쇄 법칙으로 구합니다. 실험은 이 식으로 기울기를 계산하고, 주소 끝에 ?test 를 붙이면 h 를 아주 작게 두고 직접 잰 값과 같은지 스스로 검사합니다.

3. 그래디언트: 편미분을 한 묶음으로

편미분을 입력 순서대로 모아 화살표(벡터) 하나로 묶은 것이 그래디언트입니다. ∇f 로 적고 「나블라 f」 또는 「델 f」라고 읽습니다. 입력이 n 개면 숫자 n 개짜리 화살표입니다.

∇f = (∂f/∂x, ∂f/∂y)   예: x² + 3y² 이면 ∇f = (2x, 6y), 점 (1, 1) 에서 (2, 6)

미분 쪽의 7절에서 그릇 하나로 짧게 보았습니다. 여기서는 땅을 바꿔 가며, 지도 전체에 화살표를 깔아 봅니다.

점 P = ( , )

점 P 를 끌거나 칸에 숫자를 넣으세요. 초록 화살표는 x 만 움직인 기울기, 파란 화살표는 y 만 움직인 기울기, 검은 화살표는 둘을 묶은 그래디언트입니다. 그래디언트는 두 화살표로 만든 네모의 대각선입니다. 연한 초록 선은 등고선, 주황 선은 P 와 같은 높이의 등고선입니다. 「지도 전체에 화살표」를 켜면 회색 화살표가 깔립니다. 서로 겹치지 않게 모두 같은 배율로 줄였고, 길이의 비율은 그대로입니다.

성질쉬운 말실험에서
가장 가파른 오르막 방향을 가리킨다같은 한 걸음이라면 이쪽으로 걸을 때 가장 많이 올라간다검은 화살표의 방향
길이 = 그쪽의 기울기(가파른 정도)화살표가 길수록 가파르다. 짧으면 완만하다(1, 1) 에서 √(2² + 6²) = √40 ≈ 6.32
등고선에 직각이다등고선을 따라 걸으면 높이가 그대로라 그쪽 기울기는 0. 가장 가파른 쪽은 거기에 직각이다주황 직각 표시
반대쪽(−∇f)이 가장 가파른 내리막내려가려면 화살표를 거꾸로 따라간다6절의 실험
0 이면 평평한 곳바닥, 꼭대기, 안장의 가운데. 그래디언트만으로는 셋을 가를 수 없다그릇의 (0, 0), 언덕의 (1, 1), 안장의 (0, 0)

해 볼 것. ① 처음 P = (1, 1) 에서 그래디언트는 (2, 6), 길이는 6.32 입니다. 검은 화살표가 주황 등고선과 직각인지 보세요. ② 땅을 그릇 x² + y² 으로 바꾸고 P 를 (2, 1) 에 두면 그래디언트는 (4, 2), 길이 4.47 입니다. 그릇에서는 화살표가 늘 가운데에서 바깥으로 곧게 뻗고, 가운데에서 멀수록 깁니다. ③ 「지도 전체에 화살표」를 켜고 언덕 둘을 고르세요. 화살표가 저마다 가까운 꼭대기 쪽을 향하고, 큰 꼭대기 (1, 1) 에서는 그래디언트가 (0, 0) 입니다. ④ 안장의 (0, 0) 도 그래디언트가 (0, 0) 이지만 바닥이 아닙니다. 둘레의 화살표를 보면 x 쪽에서는 바깥으로, y 쪽에서는 안으로 향합니다.

4. 방향도함수: 아무 쪽으로나 걸을 때의 기울기

동쪽과 북쪽만 있는 것이 아닙니다. 북동쪽이나 남서쪽으로 걸을 때의 기울기도 그래디언트 하나로 바로 나옵니다. 걷는 방향을 길이 1 인 화살표 u = (cos θ, sin θ) 로 적습니다. θ 는 x 쪽(오른쪽)에서 시계 반대 방향으로 잰 각도입니다.

그쪽 기울기 = ∇f · u = ∂f/∂x × cos θ + ∂f/∂y × sin θ

책에서는 이것을 방향도함수라고 부르고 Duf 로 적습니다. 식은 그래디언트와 방향의 내적입니다. 아주 작은 한 걸음을 x 쪽 cos θ 만큼과 y 쪽 sin θ 만큼으로 나누어 가면, 높이는 x 쪽에서 ∂f/∂x × cos θ, y 쪽에서 ∂f/∂y × sin θ 만큼 바뀝니다. 그 둘을 더한 것입니다. 이 식이 만들어지는 과정은 5절에서 그림으로 한 단계씩 봅니다.

예: P = (1, 1) 에서 ∇f = (2, 6), θ = 30° 이면 u = (0.866, 0.5) 이고 기울기는 2 × 0.866 + 6 × 0.5 ≈ 4.73 입니다.

내적은 (그래디언트의 길이) × (u 의 길이 1) × cos(둘 사이의 각) 이기도 합니다. 그래서 세 가지가 바로 나옵니다.

편미분은 방향도함수의 특별한 경우입니다. θ = 0° 이면 u = (1, 0) 이라 ∂f/∂x, θ = 90° 이면 ∂f/∂y 가 나옵니다.

점 P = ( , )

「방향 θ」 막대로 보라 화살표 u 를 돌립니다. 연보라 띠는 검은 그래디언트 화살표가 u 위에 드리운 그림자이고, 그 길이가 그쪽 기울기입니다. 오른쪽 아래의 동그란 그래프는 방향마다의 기울기를 한 바퀴 그린 것입니다. 점선 고리가 기울기 0, 고리 밖으로 나온 만큼이 오르막(주황, +), 안으로 들어온 만큼이 내리막(파랑, −)입니다. 그래프의 방향은 지도와 같습니다(오른쪽이 0°, 위가 90°).

해 볼 것. ① 처음 그대로(길쭉한 그릇, P = (1, 1), θ = 0°)면 기울기는 2 로, ∂f/∂x 와 같습니다. 막대를 90° 로 옮기면 6 으로, ∂f/∂y 와 같습니다. 30° 에서는 4.73 입니다. ② 「그래디언트 쪽」을 누르면 θ 가 71.6° 가 되고 기울기는 6.32 로 가장 큽니다. 그래디언트의 길이와 같습니다. ③ 「반대쪽」을 누르면 251.6° 에서 −6.32 로 가장 작습니다. ④ 「등고선 쪽」을 누르면 161.6° 에서 0 입니다. 보라 화살표가 주황 등고선을 따라 놓입니다. ⑤ 안장을 고르고 P 를 (1, 0) 에 두면 0° 에서 2, 90° 에서 0, 180° 에서 −2 입니다.

5. 식이 만들어지는 과정: 방향도함수

4절의 식 ∇f · u = ∂f/∂x × cos θ + ∂f/∂y × sin θ 가 어디서 나오는지 한 단계씩 봅니다. 생각은 하나입니다. 비스듬한 한 걸음을 가로 걸음과 세로 걸음으로 쪼개면, 두 걸음은 저마다 입력 하나만 움직이는 걸음이라 오르는 높이를 편미분으로 근사할 수 있습니다. 자료는 4절의 예와 같습니다: 길쭉한 그릇 x² + 3y², P = (1, 1), θ = 30°.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 왼쪽은 P 둘레를 위에서 본 지도이고, 오른쪽은 걸으며 오른 높이입니다. 보라는 곧장 가는 한 걸음, 초록은 x 만 움직이는 가로 걸음, 파랑은 y 만 움직이는 세로 걸음입니다. 오른쪽의 곡선은 실제 높이, 검은 점선은 편미분을 기울기로 쓴 계단, 주황 막대는 둘의 차이입니다. 「걸음 h」는 ⑤ 단계부터 바꿀 수 있습니다.

  1. 한 걸음: f(Q) − f(P). P 에서 방향 u 로 h 만큼 걸어 닿은 곳이 Q = P + h·u 입니다. u 는 길이가 1 이라 걸은 거리가 h 입니다. 그림이 잘 보이게 h = 1 로 크게 걷습니다. Q = (1.866, 1.5) 이고, 높이는 4 에서 10.23 으로 6.23 오릅니다. 알고 싶은 것은 걸은 거리 1 마다 몇 오르나(기울기)라서, 마지막에 h 로 나눕니다.
  2. ㄱ 자로 쪼개기: = [f(R) − f(P)] + [f(Q) − f(R)]. 곧장 가는 대신 x 쪽으로 h·cos θ(0.866) 가서 모퉁이 R = (1.866, 1) 에 들르고, y 쪽으로 h·sin θ(0.5) 가서 Q 에 닿습니다. 높이는 자리만으로 정해지니 어느 길로 가든 Q 에서 오른 높이는 같습니다. 이 줄은 근사가 아니라 정확히 같습니다: 6.23 = 2.48 + 3.75. 까닭: 가로 걸음은 y 가 그대로, 세로 걸음은 x 가 그대로라 둘 다 입력 하나만 움직이는 걸음이 됩니다. 그런 걸음의 기울기가 바로 편미분입니다.
  3. 가로 계단: f(R) − f(P) ≈ ∂f/∂x × h·cos θ. 기울기 × 거리 = 오른 높이입니다. P 의 x 쪽 기울기는 2 라 2 × 0.866 = 1.73 오른다고 근사합니다. 실제는 2.48 로 0.75 더 오릅니다. 걷는 동안 기울기가 2 에서 점점 커지기(땅이 휘기) 때문입니다. 이 차이는 0.75 × h × h 라서 h 보다 빨리 줄어듭니다(⑤).
  4. 세로 계단: f(Q) − f(R) ≈ ∂f/∂y × h·sin θ. 6 × 0.5 = 3 이고, 실제는 3.75 입니다. 두 계단의 합은 4.73 으로, 실제 6.23 과 1.5 차이입니다. 엄밀히는 이 걸음이 R 에서 출발하므로 R 의 ∂f/∂y 를 써야 합니다. 이 땅은 ∂f/∂y = 6y 라 R 에서도 6 입니다. 다른 땅에서도 편미분이 끊김 없이 바뀌면 h 가 작을 때 R 의 값이 P 의 값에 다가갑니다. 이 부분의 엄밀한 증명(보통 평균값 정리를 쓴다)은 여기서 하지 않습니다.
  5. h 로 나누고 h 를 줄이기: (f(Q) − f(P)) ÷ h → ∂f/∂x × cos θ + ∂f/∂y × sin θ. 오른 높이를 걸은 거리 h 로 나누면 기울기입니다. 계단 쪽은 h 가 지워져 h 와 상관없이 2 × 0.866 + 6 × 0.5 = 4.73 입니다. 실제 쪽은 아래 표처럼 h 를 줄일수록 4.73 에 다가갑니다. 이 땅에서는 차이가 꼭 1.5 × h 입니다. h 를 0 에 가깝게 할 때 다가가는 값이 방향도함수 Duf 의 정의이고, 그 값이 오른쪽 식입니다.
  6. 내적으로 묶기: Duf = ∇f · u. 오른쪽은 (∂f/∂x, ∂f/∂y) 와 (cos θ, sin θ) 를 짝지어 곱해 더한 꼴이라, 그래디언트와 u 의 내적입니다. 내적은 |∇f| × |u| × cos(사이각) 이기도 하고 |u| = 1 이니, u 를 ∇f 쪽(θ = 71.6°)으로 돌려 사이각이 0 이 되면 가장 큽니다. 그 값이 |∇f| = √40 ≈ 6.32 입니다. 그래디언트가 가장 가파른 오르막 방향인 까닭이 여기서 나옵니다.
h실제로 오른 높이 ÷ h두 계단 ÷ h차이
16.2324.7321.5
0.55.4824.7320.75
0.14.8824.7320.15
0.014.7474.7320.015

해 볼 것. ① 「다음」을 두 번 눌러 ③ 가로 계단으로 가면 초록 계단이 1.73 오르고, 실제 초록 곡선은 2.48 까지 올라 주황 막대만큼(0.75) 차이가 남습니다. ② ⑤ 단계에서는 h 가 1 에서 0.1 로 줄며 실제 곡선이 계단에 붙고, 차이가 0.15 가 됩니다. 「걸음 h」를 0.5 와 0.01 로 바꾸면 차이가 0.75 와 0.015 입니다. h 를 반으로 줄이면 차이도 반이 됩니다. ③ 마지막 단계에서는 보라 u 가 검은 ∇f 화살표 쪽으로 돌고, 두 계단의 합이 4.73 에서 6.32 로 커져 점선 |∇f| 에 닿습니다.

6. 경사 하강법: 그래디언트의 반대로 한 스텝

낮은 곳을 찾으려면 가장 가파른 내리막, 곧 그래디언트의 반대쪽으로 조금 갑니다. 학습률(learning rate)을 η(「에타」)라고 하면 한 스텝은 이렇습니다.

새 자리 = 지금 자리 − η × ∇f

예: 길쭉한 그릇의 P = (1, 1), η = 0.1 이면 (1, 1) − 0.1 × (2, 6) = (0.8, 0.4) 이고, 높이는 4 에서 1.12 로 내려갑니다. 이 스텝을 되풀이하는 것이 경사 하강법입니다.

점 P = ( , )

「한 스텝」을 누르면 P 가 보라 점선 화살표만큼 갑니다. 지나온 자리는 주황 점과 선으로 남습니다. P 를 끌거나 칸에 숫자를 넣으면 그 자리에서 다시 출발합니다. 「다시」는 처음 출발한 자리로 돌아갑니다.

안장에서는 내려가는 쪽과 올라가는 쪽이 같이 있습니다. 안장 x² − y² 의 가운데 (0, 0) 은 그래디언트가 (0, 0) 이라 한 스텝을 가도 움직이지 않습니다. 그런데 바닥이 아닙니다. 거기서 x 쪽으로 가면 높이 x² 만큼 올라가고, y 쪽으로 가면 −y² 만큼 내려갑니다. 그래서 y 가 0 에서 조금만 비켜 있어도, 점은 처음에는 가운데로 오다가 y 쪽으로 미끄러져 내려갑니다.

해 볼 것. ① 처음 그대로(길쭉한 그릇, P = (1, 1), η = 0.1) 「한 스텝」을 누르면 (0.8, 0.4), 높이 4 → 1.12 입니다. 한 번 더 누르면 (0.64, 0.16), 높이 0.49 입니다. 「다시」를 누르고 「열 스텝」을 누르면 스텝 10 에서 (0.11, 0), 높이 0.01 로 바닥에 거의 닿습니다. ② 「다시」를 누르고 η 를 0.4 로 올려 「열 스텝」을 누르세요. y 가 1, −1.4, 1.96, −2.74 로 커지며 흔들리다가, 네 번째 스텝이 지도 밖으로 나가 스텝 3 에서 멈춥니다. 스텝이 너무 크면 바닥을 지나쳐 튕겨 나갑니다. ③ η 를 0.1 로 되돌리고 땅을 안장으로 바꾼 뒤 P 를 (2, 0) 에 두세요. 「열 스텝」 세 번(스텝 30)이면 P 가 (0, 0) 에 닿아 멈춥니다. 평평하지만 바닥은 아닙니다. ④ P 를 (2, 0.1) 로 옮기고 「열 스텝」을 누르면 (0.21, 0.62), 높이 −0.34 입니다. 한 번 더 누르면 스텝 18 에서 (0.04, 2.66), 높이 −7.09 까지 내려간 뒤 지도 밖으로 나갑니다.

학습률을 어떻게 정하는지, 관성을 더한 모멘텀이나 방향마다 스텝을 바꾸는 Adam 같은 방법은 경사 하강법 쪽에서 직접 경주시켜 볼 수 있습니다.

7. 다변수 연쇄 법칙: 변수가 여럿일 때

x 와 y 가 둘 다 다른 값 t 에 따라 바뀐다고 합시다. 땅 위를 시간 t 에 따라 걸어가는 경우입니다. 그러면 t 를 조금 바꿀 때 높이가 바뀌는 빠르기는, x 를 거쳐 오는 몫과 y 를 거쳐 오는 몫을 더한 것입니다. 길마다 배수를 곱하고(연쇄 법칙), 갈라졌던 길이 다시 모이면 더합니다.

df/dt = ∂f/∂x × dx/dt + ∂f/∂y × dy/dt

예: x² + 3y² 위를 (x, y) = (t, t) 로 걸으면 dx/dt = dy/dt = 1 이라 df/dt = 2x × 1 + 6y × 1 = 2t + 6t = 8t 입니다. 먼저 넣고 풀어도 f = t² + 3t² = 4t² 이라 미분하면 8t, 같습니다. 신경망에서 한 값이 여러 갈래로 쓰일 때 기울기를 더하는 것도 이 규칙입니다(역전파의 6절).

8. 입력이 수백만 개여도 같은 생각

AI 모델이 얼마나 틀렸는지를 나타내는 값(손실)은 가중치 w₁, w₂, …, wₙ 의 함수입니다. 가중치가 수백만 개면 입력이 수백만 개인 함수입니다. 땅으로 그릴 수는 없지만 생각은 그대로입니다.

문제는 n 개를 구하는 비용입니다. 가중치를 하나씩 조금 흔들어 재면 모델을 n 번 넘게 다시 계산해야 합니다. 수백만 번입니다. 역전파는 연쇄 법칙을 출력에서 입력 쪽으로 거꾸로 적용해, 한 번의 거꾸로 계산으로 모든 편미분을 구합니다. 걸리는 시간은 모델을 한 번 계산하는 것의 몇 배 정도입니다.

# PyTorch 로 2절의 손 예제를 계산한다
import torch
p = torch.tensor([2.0, 1.0], requires_grad=True)   # (x, y) = (2, 1)
f = p[0] ** 2 * p[1] + 3 * p[1]                    # x²y + 3y
f.backward()                                        # 거꾸로 연쇄 법칙을 적용한다
print(p.grad)                                       # tensor([4., 7.])  손 계산과 같다

9. 더 나아가면: 전미분, 야코비안, 헤시안

이름과 한 줄씩만 적습니다. 자세한 것은 야코비안과 헤시안 쪽에 있습니다.

어디에 쓰나

자주 묻는 것

편미분은 보통 미분과 무엇이 다른가요?

계산하는 법은 같습니다. 입력이 여럿일 때 하나만 움직이고 나머지는 정해진 숫자로 보고 미분합니다. 그래서 입력마다 하나씩, 입력 수만큼의 편미분이 나옵니다.

∂ 와 d 는 무엇이 다른가요?

둘 다 「아주 작은 변화」를 뜻합니다. ∂ 는 「입력이 여럿이고, 그 가운데 하나만 움직였다」는 표시입니다. 입력이 하나뿐인 함수에는 d 를 씁니다.

그래디언트는 왜 가장 가파른 오르막 방향인가요?

어느 방향 u 로 가든 그쪽의 기울기는 그래디언트와 u 의 내적입니다. 내적은 두 화살표가 같은 쪽을 볼 때 가장 크고, 그때의 값이 그래디언트의 길이입니다.

그래디언트가 0 이면 바닥인가요?

꼭 그렇지는 않습니다. 바닥, 꼭대기, 안장의 가운데에서 모두 0 입니다. 안장 x² − y² 의 (0, 0) 은 x 쪽으로 가면 올라가고 y 쪽으로 가면 내려갑니다. 셋 가운데 무엇인지는 땅이 휜 모양(헤시안)을 보고 가릅니다.

입력이 수백만 개인 AI 모델은 편미분을 어떻게 다 구하나요?

가중치를 하나씩 조금 흔들어 재면 모델을 수백만 번 다시 계산해야 합니다. 대신 역전파를 씁니다. 연쇄 법칙을 출력에서 입력 쪽으로 거꾸로 적용해, 한 번의 거꾸로 계산으로 모든 가중치의 편미분을 구합니다.

낱말

여기서 쓴 말책에서 부르는 말
하나만 움직였을 때의 기울기편미분(partial derivative). ∂f/∂x, fx
한 입력을 고정하고 자른 땅의 모양단면(cross-section), 자취(trace)
편미분을 묶은 화살표그래디언트(gradient), 기울기 벡터(gradient vector). ∇f
∇ 기호나블라(nabla), 델(del)
아무 방향으로 걸을 때의 기울기방향도함수(directional derivative). Duf
길이 1 인 방향 화살표단위 벡터(unit vector)
같은 높이를 이은 선등고선(contour line, level curve)
지도 전체에 깐 화살표벡터장(vector field), 그래디언트 장(gradient field)
그래디언트의 반대로 한 스텝씩경사 하강법(gradient descent), 최급강하법(steepest descent)
한 스텝에 가는 거리학습률(learning rate), 스텝 크기(step size). η
그래디언트가 0 인 곳임계점(critical point), 정류점(stationary point)
안장의 가운데안장점(saddle point)
갈라진 길의 몫을 더하는 연쇄 법칙다변수 연쇄 법칙(multivariable chain rule)
모든 입력을 조금씩 바꿀 때의 변화전미분(total differential)
출력마다의 그래디언트를 쌓은 표야코비 행렬, 야코비안(Jacobian matrix)
편미분을 두 번 한 값의 표헤세 행렬, 헤시안(Hessian matrix)

출처

← 적분테일러 근사 →