미분, 편미분, 연쇄 법칙

미분은 기울기를 구하는 일입니다. 곡선 위의 한 자리에서 입력을 아주 조금 바꾸면 출력이 몇 배로 바뀌는지 잽니다. AI 가 배우는 방법(경사 하강법, 역전파)은 모두 이 기울기에서 출발합니다. 점을 움직여 보세요.

한 줄 답. 미분은 「입력을 아주 조금 바꾸면 출력이 몇 배로 바뀌는가」, 곧 그 자리의 기울기입니다. 편미분은 입력이 여럿일 때 하나만 움직여 본 기울기입니다. 연쇄 법칙은 계산이 여러 단계로 이어져 있을 때 단계마다의 배수를 곱하면 전체의 배수가 된다는 규칙입니다.

그림을 좌우로 끌거나 칸에 숫자를 넣으면 점 P 가 옮겨집니다. 「간격 h」 막대를 오른쪽으로 옮길수록 h 가 0 에 가까워집니다. 주황 직선은 P 와 Q 를 잇는 할선(secant line), 검은 점선은 P 의 접선, 보라 직각 삼각형은 가로로 간 만큼(h)과 그동안 올라간 만큼입니다. 아래 파란 그래프는 자리마다의 기울기를 모은 것입니다.

1. 미분: 아주 조금 바꾸면 몇 배로 바뀌나

직선은 기울기가 어디서나 같습니다. y = 3x + 1 이면 x 가 1 늘 때 y 는 언제나 3 늡니다. 기울기는 3 입니다. 「x 를 바꾼 만큼의 3배가 y 에서 바뀐다」고 읽어도 됩니다.

곡선은 자리마다 기울기가 다릅니다. 그래서 곡선 위에 두 점을 잡고 그 사이의 평균 기울기인 평균변화율(average rate of change)부터 잽니다. P 의 가로 자리가 x, Q 는 거기서 h 만큼 오른쪽입니다.

평균변화율 = (f(x + h) − f(x)) ÷ h   올라간 만큼 ÷ 가로로 간 만큼

이제 h 를 줄여 Q 를 P 쪽으로 붙입니다. 두 점을 잇는 할선은 점점 곡선에 딱 붙는 직선, 곧 접선에 다가갑니다. 평균변화율이 다가가는 그 값이 P 의 기울기인 미분계수(derivative at a point)이고, 이것을 구하는 일이 미분입니다.

f′(x) = h 를 0 에 가깝게 할 때 (f(x + h) − f(x)) ÷ h 가 다가가는 값

h 를 아예 0 으로 두면 0 ÷ 0 이 되어 계산할 수 없습니다. 그래서 「0 에 다가갈 때」를 봅니다. 책에서는 이것을 극한이라고 부릅니다.

예: f(x) = x², x = 1.

h계산평균변화율
1(f(2) − f(1)) ÷ 1 = (4 − 1) ÷ 13
0.5(f(1.5) − f(1)) ÷ 0.5 = (2.25 − 1) ÷ 0.52.5
0.1(1.21 − 1) ÷ 0.12.1
0.01(1.0201 − 1) ÷ 0.012.01
0.001(1.002001 − 1) ÷ 0.0012.001
0 에 다가가면2

왜 2 인지는 식을 풀면 보입니다. (1 + h)² − 1 = 2h + h² 이고, 이것을 h 로 나누면 2 + h 입니다. h 가 0 에 다가가면 2 만 남습니다.

해 볼 것. ① 처음 그대로(x², x = 1, h = 1)면 평균변화율은 3 입니다. 「간격 h」 막대를 오른쪽으로 옮기면 2.5, 2.1, 2.01, 2.001 로 줄고, 주황 직선이 검은 점선(접선)에 겹쳐 갑니다. ② P 를 x = −1 로 옮기면 기울기는 −2 입니다. 음수는 오른쪽이 내리막이라는 뜻입니다. ③ 곡선을 x³ − 3x 로 바꾸고 x = 1 에 두면 h = 1 에서 4, h = 0.1 에서 0.31 이고, h 가 0 에 다가가면 0 이 됩니다.

2. 기울기를 모으면 새 함수가 된다: 도함수

자리마다 기울기를 재서 그 값을 높이로 찍어 이으면 새 그래프가 나옵니다. 실험 아래쪽의 파란 그래프가 그것입니다. 이 새 함수를 도함수라고 부르고 f′(x) 나 dy/dx 로 적습니다.

x² 의 기울기는 x = 1 에서 2, x = 2 에서 4, x = −1 에서 −2 입니다. 늘 x 의 2배입니다. 그래서 (x²)′ = 2x 입니다. 왜 늘 2배인지는 바로 아래 식이 만들어지는 과정에서 넓이 그림으로 봅니다.

적는 법읽는 법
f′(x)「에프 프라임 x」. f 의 도함수
dy/dxy 의 아주 작은 변화 ÷ x 의 아주 작은 변화. d 는 「아주 작은 변화」라는 표시
f′(1) = 2x = 1 에서의 기울기가 2. 숫자 하나

해 볼 것. ① 곡선을 sin x 로 바꾸면 아래 그래프가 cos x 모양이 됩니다. x = 0 에서 기울기는 1 이고, 칸에 1.57 을 넣으면 0 입니다(꼭대기). ② eˣ ÷ 4 를 고르면 위와 아래 그래프가 똑같습니다. eˣ 는 미분해도 자기 자신입니다. ③ x³ − 3x 의 아래 그래프는 3x² − 3 이고, x = −1 과 1 에서 0 을 지납니다.

식이 만들어지는 과정: (x²)′ = 2x

1절의 실험은 h 를 줄여 가며 기울기에 다가갔습니다. 여기서는 식을 풀어서 (x²)′ = 2x 가 어디서 나오는지 봅니다. x² 을 한 변이 x 인 정사각형의 넓이로 보면, 「x 를 h 만큼 늘리면 넓이가 얼마나 느나」를 그림에서 셀 수 있습니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 초록 정사각형이 처음 넓이 x², 보라가 늘어난 넓이, 파랑이 띠 둘(x·h), 주황이 귀퉁이 네모(h²)입니다. 아래 막대는 조각마다 h 로 나눈 길이(x, x, h)를 이어 놓은 것입니다. x 는 실험 1 의 처음 자리와 같은 1 로 두었고, 「간격 h」 막대는 어느 단계에서나 움직일 수 있습니다.

  1. 정사각형: x². 한 변이 x 인 정사각형의 넓이가 x² 입니다. x = 1 이면 넓이 1 입니다.
  2. 변을 h 만큼 늘리기: (x + h)² − x². 두 변을 h 씩 늘리면 넓이는 (x + h)² 입니다. 늘어난 넓이가 「입력을 h 바꿨을 때 출력이 바뀐 만큼」, 곧 평균변화율 식의 위쪽 f(x + h) − f(x) 입니다. x = 1, h = 0.5 면 2.25 − 1 = 1.25 입니다. 까닭: 기울기는 「바뀐 만큼 ÷ h」 라서, 바뀐 만큼부터 알아야 합니다.
  3. 늘어난 넓이 쪼개기: = x·h + x·h + h². 늘어난 ㄱ 자 모양은 길쭉한 띠 둘(세로 x·가로 h, 가로 x·세로 h)과 귀퉁이의 작은 네모(h × h)로 나뉩니다. 0.5 + 0.5 + 0.25 = 1.25 입니다. 식으로 펼친 (x + h)² = x² + 2xh + h² 과 같은 말입니다. 까닭: 조각마다 작아지는 빠르기가 다릅니다. 띠는 h 에 비례하고, 귀퉁이는 h 를 두 번 곱해 훨씬 빨리 작아집니다.
  4. h 로 나누기: ((x + h)² − x²) ÷ h = 2x + h. 두께가 h 인 조각을 h 로 나누면 길이만 남습니다. 띠 둘은 x 씩, 귀퉁이는 h 입니다. 1.25 ÷ 0.5 = 2.5 = 2 + 0.5 로, 1절 표의 h = 0.5 줄과 같습니다. 까닭: 평균변화율이 「바뀐 만큼 ÷ h」 입니다. h 는 아직 0 이 아니라서 나눌 수 있습니다.
  5. h 를 0 에 다가가게: (x²)′ = 2x. 띠 둘의 몫 2x 는 h 와 상관없이 그대로이고, 귀퉁이의 몫 h 만 0 에 다가갑니다. 귀퉁이 넓이는 띠 하나의 h ÷ x 배라서, x = 1 에서 h = 0.1 이면 0.1 배, 0.001 이면 0.001 배입니다. 남는 것은 2x 이고, x = 1 이면 2, x = 2 면 4 로 2절에서 잰 값과 같습니다. 까닭: 기울기는 h 를 0 으로 둔 값이 아니라 0 에 다가가게 했을 때 다가가는 값입니다(1절).

그림은 x 와 h 가 양수일 때 그렸습니다. 펼친 식 (x + h)² = x² + 2xh + h² 은 어떤 수에서나 맞으므로, x 나 h 가 음수여도 2x + h 와 2x 는 그대로입니다.

같은 그림으로 곱의 규칙. 정사각형 대신 가로 u, 세로 v 인 직사각형(넓이 u·v)을 놓습니다. u 와 v 가 모두 x 에 따라 바뀌는 함수라면, x 를 조금 바꿀 때 가로는 Δu, 세로는 Δv 만큼 바뀝니다(Δ 는 「바뀐 양」). 늘어난 넓이는 띠 둘 v·Δu, u·Δv 와 귀퉁이 Δu·Δv 입니다. x 가 바뀐 양으로 나누고 그것을 0 에 다가가게 하면 띠 둘은 u′·v 와 u·v′ 이 됩니다. 귀퉁이를 나눈 것은 (Δu ÷ x 가 바뀐 양) × Δv 인데, 앞의 것은 u′ 에, Δv 는 0 에 다가가므로 사라집니다. 그래서 (u·v)′ = u′·v + u·v′ 입니다. 정사각형은 u = v = x 인 경우라 1·x + x·1 = 2x 입니다. 3절 표의 곱 줄이 이것입니다.

해 볼 것. ① 처음(h = 0.5)에서 「다음」을 세 번 누르면 늘어난 넓이 1.25 = 0.5 + 0.5 + 0.25 가 h 로 나뉘어 1 + 1 + 0.5 = 2.5 가 됩니다. ② 「간격 h」 막대를 맨 왼쪽(h = 1)에 두면 귀퉁이(1)가 띠 하나(1)와 크기가 같고, 평균변화율은 3 입니다. ③ 마지막 단계에 들어서면 h 가 0.1 로 줄어(이미 더 작았으면 그대로) 평균변화율 2.1, 귀퉁이는 띠 하나의 0.1 배가 됩니다. 막대를 오른쪽 끝까지 옮기면 2.01, 2.001 이 되고, 아래 막대의 주황 조각이 사라져 2x 표시에 닿습니다.

3. 자주 쓰는 미분 표

매번 h 를 줄여 가며 계산하지 않아도 됩니다. 자주 나오는 함수의 도함수는 정해져 있습니다.

함수도함수예
상수 c07 → 0. 높이가 그대로라 평평하다
xⁿn·xⁿ⁻¹x² → 2x, x³ → 3x², x → 1
eˣeˣ자기 자신. 값이 클수록 그만큼 가파르다
ln x (x > 0)1 ÷ xx = 2 에서 기울기 0.5
sin xcos xx = 0 에서 기울기 1
cos x−sin xx = 0 에서 기울기 0 (꼭대기)
상수배 c·f(x)c·f′(x)5x² → 10x
합 f(x) + g(x)f′(x) + g′(x)x³ − 3x → 3x² − 3
곱 f(x)·g(x)f′(x)·g(x) + f(x)·g′(x)x·sin x → sin x + x·cos x

곱의 규칙이 왜 두 몫의 합인지는 식이 만들어지는 과정의 끝에 같은 넓이 그림으로 있습니다.

sin, cos 의 x 는 라디안(반지름 길이로 잰 각도. 한 바퀴 = 2π)일 때 이 표가 맞습니다. 도(°)로 재면 숫자가 달라집니다.

이 표와 5절의 연쇄 법칙이 있으면 흔히 보는 식은 거의 다 미분할 수 있습니다.

4. 미분이 0 인 곳: 바닥, 꼭대기, 평평한 곳

기울기가 + 면 그 자리는 오른쪽이 오르막, − 면 내리막입니다. 오르막이 내리막으로 바뀌는 꼭대기(극댓값)와, 내리막이 오르막으로 바뀌는 바닥(극솟값)에서는 기울기가 0 입니다.

예: f(x) = x³ − 3x. 표로 미분하면 f′(x) = 3x² − 3 입니다. 이것이 0 인 곳은 x² = 1, 곧 x = −1 과 x = 1 입니다.

틀리기 쉬운 점이 둘 있습니다. 첫째, 기울기가 0 이라고 늘 바닥이나 꼭대기는 아닙니다. x³ 은 x = 0 에서 기울기가 0 이지만 왼쪽도 오른쪽도 오르막입니다. 잠깐 평평할 뿐입니다. 둘째, 바닥은 그 근처에서 가장 낮은 곳일 뿐 전체에서 가장 낮은 곳은 아닐 수 있습니다. x³ − 3x 의 바닥은 −2 이지만 x = −3 에서는 −18 입니다.

「가장 작은 값 찾기」는 이렇게 기울기가 0 인 곳을 찾는 일과 이어져 있습니다. 식을 풀어 바로 찾을 수 없을 때는 기울기를 보고 내리막 쪽으로 조금씩 갑니다. 이것이 경사 하강법입니다.

해 볼 것. x³ − 3x 를 고르고 P 를 x = 1 에 두면 기울기 0(바닥), x = −1 이면 0(꼭대기), x = 0 이면 −3(내리막)입니다. 아래 파란 그래프가 0 을 지나는 곳이 위 곡선의 바닥과 꼭대기입니다.

5. 연쇄 법칙: 단계마다의 배수를 곱한다

y = (3x)² 은 두 단계로 나눌 수 있습니다. 먼저 u = 3x 를 하고, 그다음 y = u² 을 합니다. 이렇게 함수 안에 함수가 든 것을 합성함수라고 부릅니다.

x 를 아주 조금 바꾸면 첫 단계에서 u 는 그 3배만큼 바뀝니다. u 가 바뀐 것은 둘째 단계에서 다시 2u 배가 됩니다. 그래서 전체로는 3 × 2u 배입니다. 톱니바퀴 둘을 이어 첫 바퀴가 3배, 둘째 바퀴가 6배로 돌리면 끝은 18배로 도는 것과 같습니다.

dy/dx = dy/du × du/dx   같은 말을 함수로 적으면 (f(g(x)))′ = f′(g(x)) × g′(x)

틀리기 쉬운 곳: 바깥 단계의 배수 f′ 는 x 자리가 아니라 안쪽에서 나온 값 u = g(x) 자리에서 잽니다.

입력

「여기서 ×」는 그 상자가 들어온 변화를 몇 배로 키우는지(그 단계의 기울기)입니다. g 의 배수는 x 자리에서, f 의 배수는 u 자리에서 잽니다.

해 볼 것. ① 처음 그대로(y = (3x)², x = 1)면 g 에서 ×3, f 에서 ×6, 전체 18 입니다. x 를 0.001 움직이면 u 는 0.003, y 는 0.018 바뀝니다. ② x 를 0 으로 옮기면 u = 0 이고 f 에서 ×0 이라 전체도 0 입니다. y = 9x² 의 바닥입니다. ③ y = (2x + 1)³ 에서 x = 1 이면 ×2, ×27, 전체 54 입니다. ④ 어느 짝, 어느 x 에서도 배수의 곱은 처음부터 끝까지 바로 잰 기울기와 같습니다. 단계가 셋 이상이어도 모두 곱하면 됩니다.

6. 손으로 따라 풀기: (3x)² 를 연쇄 법칙으로

  1. 단계를 나눈다. u = 3x, y = u².
  2. 단계마다 미분한다. 표의 상수배로 du/dx = 3. 표의 xⁿ 으로 dy/du = 2u.
  3. 곱한다. dy/dx = dy/du × du/dx = 2u × 3 = 6u.
  4. u 를 x 로 되돌린다. 6u = 6 × 3x = 18x.
  5. x = 1 을 넣는다. u = 3 이라 dy/du = 2 × 3 = 6, du/dx = 3, 곱은 6 × 3 = 18. 실험의 처음 값과 같습니다.
  6. 확인한다. 먼저 펼치면 (3x)² = 9x² 이고, 표로 미분하면 9 × 2x = 18x. 같습니다.

자주 하는 실수는 바깥만 미분하고 안쪽의 배수를 빠뜨리는 것입니다. 2 × (3x) = 6x 로 끝내면 틀립니다. 안쪽 단계의 ×3 을 곱해야 18x 가 됩니다.

7. 편미분과 그래디언트: 입력이 둘 이상일 때

이번에는 입력이 둘인 함수 f(x, y) = x² + 3y² 입니다. 지도 위의 자리 (x, y) 를 넣으면 땅의 높이가 나온다고 보면 됩니다. 가운데 (0, 0) 이 가장 낮은 그릇 모양입니다. 같은 높이를 이은 선이 등고선입니다.

입력이 둘이면 「어느 쪽으로 움직였을 때의 기울기인가」를 정해야 합니다. 가장 쉬운 방법은 한 번에 하나만 움직이는 것입니다.

이것이 편미분입니다. ∂ 는 「다른 입력은 그대로 두고」라는 표시입니다. 계산하는 법은 보통 미분과 같습니다. 두 편미분을 묶은 화살표가 그래디언트입니다.

∇f = (∂f/∂x, ∂f/∂y) = (2x, 6y)

점 P = ( , )

점 P 를 끌거나 칸에 숫자를 넣으세요. 초록 화살표는 x 만 움직인 기울기, 파란 화살표는 y 만 움직인 기울기, 검은 화살표는 둘을 묶은 그래디언트입니다. 화살표 길이는 기울기의 1/4 로 줄여 그렸습니다. 연한 고리는 높이 2, 4, 6, … 의 등고선, 주황 고리는 P 와 같은 높이의 등고선입니다.

그래디언트에는 세 가지 성질이 있습니다.

해 볼 것. ① 처음 P = (1, 1) 에서 ∂f/∂x = 2, ∂f/∂y = 6, 그래디언트는 (2, 6) 이고 길이는 6.32 입니다. y 쪽이 세 배 가파릅니다. ② P 를 (2, 0) 으로 옮기면 그래디언트는 (4, 0) 으로 바로 오른쪽을 가리킵니다. ③ P 를 (0, 0) 에 두면 그래디언트가 (0, 0) 입니다. 바닥이라 오르막 방향이 없습니다. ④ 어디로 옮겨도 검은 화살표는 주황 등고선과 직각입니다.

AI 학습에서는 이렇게 씁니다. 낮은 곳을 찾으려면 그래디언트의 반대쪽으로 조금 갑니다. 학습률(learning rate)을 η 라고 하면 (x, y) ← (x, y) − η × ∇f 입니다. P = (1, 1), η = 0.1 이면 (1, 1) − 0.1 × (2, 6) = (0.8, 0.4) 이고 높이는 4 에서 1.12 로 내려갑니다. 이것을 되풀이하는 것이 경사 하강법입니다. 실제 모델에서는 입력이 둘이 아니라 가중치 수백만 개이고, 편미분도 그만큼 많습니다.

8. 꼭 알아야 할 성질

성질쉬운 말
부호: + 오르막, − 내리막, 0 평평기울기가 0 인 곳이 바닥·꼭대기의 후보다. 늘 그렇지는 않다(x³ 의 x = 0)
f(x + h) ≈ f(x) + f′(x) × h아주 가까이서 보면 곡선은 접선과 거의 같다. x² 에서 x = 1, h = 0.1 이면 진짜 값 1.21, 접선으로 근사한 값 1.2
합은 합으로, 상수배는 상수배로나눠서 미분한 뒤 더하거나 곱하면 된다
연쇄 법칙: 이어진 단계의 배수는 곱한다단계가 몇 개든 모두 곱한다. 한 단계라도 0 이면 전체가 0
그래디언트는 가장 가파른 오르막, 등고선에 직각그 반대쪽이 가장 가파른 내리막. 바닥에서는 (0, 0)
뾰족하거나 끊긴 곳에는 미분이 없다|x| 의 x = 0: 왼쪽 기울기 −1, 오른쪽 기울기 +1 이라 하나로 정할 수 없다

9. 컴퓨터는 어떻게 미분하나: 수치 미분과 자동 미분

수치 미분은 h 를 작은 수로 정하고 (f(x + h) − f(x)) ÷ h 를 그대로 계산합니다. 쉽지만 근삿값이고, h 를 너무 작게 하면 컴퓨터의 반올림 오차 때문에 오히려 틀립니다. x² 의 x = 1 에서 h = 0.000001 이면 2.000001 이지만, h = 10⁻¹² 이면 2.00018 이 나옵니다. 입력이 n 개면 함수를 n 번 넘게 다시 계산해야 합니다.

자동 미분은 프로그램을 이루는 덧셈, 곱셈, sin 같은 기본 연산마다 미분 표를 알고, 연쇄 법칙으로 배수를 곱해 갑니다. h 를 쓰지 않으니 근사가 아니라 정확한 값이 나옵니다(반올림 정도의 차이뿐). 출력에서 입력 쪽으로 거꾸로 곱해 가는 방식(역방향 모드)은 입력이 백만 개여도 함수를 한 번 계산하는 것의 몇 배 정도 시간에 모든 편미분을 냅니다. 신경망에서는 이것을 역전파라고 부릅니다.

# PyTorch 의 자동 미분
import torch
x = torch.tensor(1.0, requires_grad=True)
y = (3 * x) ** 2
y.backward()      # 출력에서 거꾸로 연쇄 법칙을 적용한다
print(x.grad)     # tensor(18.)  6절의 손 계산과 같다

이 쪽의 실험은 브라우저 안에서 수치 미분으로 기울기를 잽니다. 한쪽만 보지 않고 양쪽으로 h = 0.00001 만큼 가 본 두 점을 이어 재서, 화면에 적는 소수 둘째 자리까지는 정확한 값과 같습니다.

어디에 쓰나

자주 묻는 것

미분이 뭔가요?

입력을 아주 조금 바꿨을 때 출력이 몇 배로 바뀌는지, 곧 그 자리의 기울기를 구하는 일입니다. 곡선이면 그 자리에 딱 붙는 직선(접선)의 기울기입니다.

미분계수와 도함수는 무엇이 다른가요?

미분계수는 한 자리의 기울기로, 숫자 하나입니다. 도함수는 모든 자리의 기울기를 모아 만든 함수입니다. x² 의 x = 1 에서의 미분계수는 2 이고, 도함수는 2x 입니다.

편미분은 보통 미분과 무엇이 다른가요?

계산하는 법은 같습니다. 입력이 여럿일 때 하나만 움직이고 나머지는 고정된 숫자로 보고 미분합니다. 모든 입력의 편미분을 묶은 화살표가 그래디언트입니다.

연쇄 법칙이 AI 에서 왜 중요한가요?

신경망은 계산 단계(층)를 여러 개 이은 함수입니다. 가중치 하나를 조금 바꿀 때 마지막 오차가 몇 배로 바뀌는지 알려면 단계마다의 배수를 곱해야 합니다. 이 곱셈을 출력 쪽부터 거꾸로 차례로 해 나가는 것이 역전파입니다.

미분할 수 없는 곳도 있나요?

있습니다. |x| 의 x = 0 처럼 뾰족한 곳은 왼쪽 기울기(−1)와 오른쪽 기울기(+1)가 달라 하나로 정할 수 없습니다. 끊긴 곳도 미분할 수 없습니다. AI 에서 많이 쓰는 ReLU 도 0 에서 뾰족해서, 프로그램은 그 자리의 기울기를 정해 둔 값(보통 0)으로 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
그 자리의 기울기미분계수(derivative at a point), 순간변화율
기울기를 모은 함수도함수(derivative). f′(x), dy/dx
기울기를 구하는 일미분(differentiation)
두 점 사이의 평균 기울기평균변화율(average rate of change), 차분몫(difference quotient)
두 점을 잇는 직선할선(secant line)
그 자리에 딱 붙는 직선접선(tangent line)
h 를 0 에 다가가게 할 때극한(limit). lim h→0
함수 안에 함수가 든 것합성함수(composite function). f(g(x))
단계마다의 배수를 곱한다연쇄 법칙(chain rule)
하나만 움직여 본 기울기편미분(partial derivative). ∂f/∂x
편미분을 묶은 화살표그래디언트(gradient), 기울기 벡터. ∇f
같은 높이를 이은 선등고선(contour line, level curve)
바닥 / 꼭대기극솟값 / 극댓값(local minimum / maximum)
기울기가 0 인 곳임계점(critical point), 정류점(stationary point)
h 를 작은 수로 두고 직접 계산수치 미분(numerical differentiation), 유한 차분(finite difference)
기본 연산의 규칙과 연쇄 법칙으로 계산자동 미분(automatic differentiation, autodiff)
출력에서 거꾸로 배수를 곱해 오기역방향 모드(reverse mode), 역전파(backpropagation)

출처

← 극한과 연속적분 →