미분, 편미분, 연쇄 법칙
미분은 기울기를 구하는 일입니다. 곡선 위의 한 자리에서 입력을 아주 조금 바꾸면 출력이 몇 배로 바뀌는지 잽니다. AI 가 배우는 방법(경사 하강법, 역전파)은 모두 이 기울기에서 출발합니다. 점을 움직여 보세요.
한 줄 답. 미분은 「입력을 아주 조금 바꾸면 출력이 몇 배로 바뀌는가」, 곧 그 자리의 기울기입니다. 편미분은 입력이 여럿일 때 하나만 움직여 본 기울기입니다. 연쇄 법칙은 계산이 여러 단계로 이어져 있을 때 단계마다의 배수를 곱하면 전체의 배수가 된다는 규칙입니다.
그림을 좌우로 끌거나 칸에 숫자를 넣으면 점 P 가 옮겨집니다. 「간격 h」 막대를 오른쪽으로 옮길수록 h 가 0 에 가까워집니다. 주황 직선은 P 와 Q 를 잇는 할선(secant line), 검은 점선은 P 의 접선, 보라 직각 삼각형은 가로로 간 만큼(h)과 그동안 올라간 만큼입니다. 아래 파란 그래프는 자리마다의 기울기를 모은 것입니다.
1. 미분: 아주 조금 바꾸면 몇 배로 바뀌나
직선은 기울기가 어디서나 같습니다. y = 3x + 1 이면 x 가 1 늘 때 y 는 언제나 3 늡니다. 기울기는 3 입니다. 「x 를 바꾼 만큼의 3배가 y 에서 바뀐다」고 읽어도 됩니다.
곡선은 자리마다 기울기가 다릅니다. 그래서 곡선 위에 두 점을 잡고 그 사이의 평균 기울기인 평균변화율(average rate of change)부터 잽니다. P 의 가로 자리가 x, Q 는 거기서 h 만큼 오른쪽입니다.
평균변화율 = (f(x + h) − f(x)) ÷ h 올라간 만큼 ÷ 가로로 간 만큼
이제 h 를 줄여 Q 를 P 쪽으로 붙입니다. 두 점을 잇는 할선은 점점 곡선에 딱 붙는 직선, 곧 접선에 다가갑니다. 평균변화율이 다가가는 그 값이 P 의 기울기인 미분계수(derivative at a point)이고, 이것을 구하는 일이 미분입니다.
f′(x) = h 를 0 에 가깝게 할 때 (f(x + h) − f(x)) ÷ h 가 다가가는 값
h 를 아예 0 으로 두면 0 ÷ 0 이 되어 계산할 수 없습니다. 그래서 「0 에 다가갈 때」를 봅니다. 책에서는 이것을 극한이라고 부릅니다.
예: f(x) = x², x = 1.
| h | 계산 | 평균변화율 |
|---|---|---|
| 1 | (f(2) − f(1)) ÷ 1 = (4 − 1) ÷ 1 | 3 |
| 0.5 | (f(1.5) − f(1)) ÷ 0.5 = (2.25 − 1) ÷ 0.5 | 2.5 |
| 0.1 | (1.21 − 1) ÷ 0.1 | 2.1 |
| 0.01 | (1.0201 − 1) ÷ 0.01 | 2.01 |
| 0.001 | (1.002001 − 1) ÷ 0.001 | 2.001 |
| 0 에 다가가면 | 2 |
왜 2 인지는 식을 풀면 보입니다. (1 + h)² − 1 = 2h + h² 이고, 이것을 h 로 나누면 2 + h 입니다. h 가 0 에 다가가면 2 만 남습니다.
해 볼 것. ① 처음 그대로(x², x = 1, h = 1)면 평균변화율은 3 입니다. 「간격 h」 막대를 오른쪽으로 옮기면 2.5, 2.1, 2.01, 2.001 로 줄고, 주황 직선이 검은 점선(접선)에 겹쳐 갑니다. ② P 를 x = −1 로 옮기면 기울기는 −2 입니다. 음수는 오른쪽이 내리막이라는 뜻입니다. ③ 곡선을 x³ − 3x 로 바꾸고 x = 1 에 두면 h = 1 에서 4, h = 0.1 에서 0.31 이고, h 가 0 에 다가가면 0 이 됩니다.
2. 기울기를 모으면 새 함수가 된다: 도함수
자리마다 기울기를 재서 그 값을 높이로 찍어 이으면 새 그래프가 나옵니다. 실험 아래쪽의 파란 그래프가 그것입니다. 이 새 함수를 도함수라고 부르고 f′(x) 나 dy/dx 로 적습니다.
x² 의 기울기는 x = 1 에서 2, x = 2 에서 4, x = −1 에서 −2 입니다. 늘 x 의 2배입니다. 그래서 (x²)′ = 2x 입니다. 왜 늘 2배인지는 바로 아래 식이 만들어지는 과정에서 넓이 그림으로 봅니다.
| 적는 법 | 읽는 법 |
|---|---|
f′(x) | 「에프 프라임 x」. f 의 도함수 |
dy/dx | y 의 아주 작은 변화 ÷ x 의 아주 작은 변화. d 는 「아주 작은 변화」라는 표시 |
f′(1) = 2 | x = 1 에서의 기울기가 2. 숫자 하나 |
해 볼 것. ① 곡선을 sin x 로 바꾸면 아래 그래프가 cos x 모양이 됩니다. x = 0 에서 기울기는 1 이고, 칸에 1.57 을 넣으면 0 입니다(꼭대기). ② eˣ ÷ 4 를 고르면 위와 아래 그래프가 똑같습니다. eˣ 는 미분해도 자기 자신입니다. ③ x³ − 3x 의 아래 그래프는 3x² − 3 이고, x = −1 과 1 에서 0 을 지납니다.
식이 만들어지는 과정: (x²)′ = 2x
1절의 실험은 h 를 줄여 가며 기울기에 다가갔습니다. 여기서는 식을 풀어서 (x²)′ = 2x 가 어디서 나오는지 봅니다. x² 을 한 변이 x 인 정사각형의 넓이로 보면, 「x 를 h 만큼 늘리면 넓이가 얼마나 느나」를 그림에서 셀 수 있습니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 초록 정사각형이 처음 넓이 x², 보라가 늘어난 넓이, 파랑이 띠 둘(x·h), 주황이 귀퉁이 네모(h²)입니다. 아래 막대는 조각마다 h 로 나눈 길이(x, x, h)를 이어 놓은 것입니다. x 는 실험 1 의 처음 자리와 같은 1 로 두었고, 「간격 h」 막대는 어느 단계에서나 움직일 수 있습니다.
- 정사각형:
x². 한 변이 x 인 정사각형의 넓이가 x² 입니다. x = 1 이면 넓이 1 입니다. - 변을 h 만큼 늘리기:
(x + h)² − x². 두 변을 h 씩 늘리면 넓이는 (x + h)² 입니다. 늘어난 넓이가 「입력을 h 바꿨을 때 출력이 바뀐 만큼」, 곧 평균변화율 식의 위쪽f(x + h) − f(x)입니다. x = 1, h = 0.5 면 2.25 − 1 = 1.25 입니다. 까닭: 기울기는 「바뀐 만큼 ÷ h」 라서, 바뀐 만큼부터 알아야 합니다. - 늘어난 넓이 쪼개기:
= x·h + x·h + h². 늘어난 ㄱ 자 모양은 길쭉한 띠 둘(세로 x·가로 h, 가로 x·세로 h)과 귀퉁이의 작은 네모(h × h)로 나뉩니다. 0.5 + 0.5 + 0.25 = 1.25 입니다. 식으로 펼친(x + h)² = x² + 2xh + h²과 같은 말입니다. 까닭: 조각마다 작아지는 빠르기가 다릅니다. 띠는 h 에 비례하고, 귀퉁이는 h 를 두 번 곱해 훨씬 빨리 작아집니다. - h 로 나누기:
((x + h)² − x²) ÷ h = 2x + h. 두께가 h 인 조각을 h 로 나누면 길이만 남습니다. 띠 둘은 x 씩, 귀퉁이는 h 입니다. 1.25 ÷ 0.5 = 2.5 = 2 + 0.5 로, 1절 표의 h = 0.5 줄과 같습니다. 까닭: 평균변화율이 「바뀐 만큼 ÷ h」 입니다. h 는 아직 0 이 아니라서 나눌 수 있습니다. - h 를 0 에 다가가게:
(x²)′ = 2x. 띠 둘의 몫 2x 는 h 와 상관없이 그대로이고, 귀퉁이의 몫 h 만 0 에 다가갑니다. 귀퉁이 넓이는 띠 하나의 h ÷ x 배라서, x = 1 에서 h = 0.1 이면 0.1 배, 0.001 이면 0.001 배입니다. 남는 것은 2x 이고, x = 1 이면 2, x = 2 면 4 로 2절에서 잰 값과 같습니다. 까닭: 기울기는 h 를 0 으로 둔 값이 아니라 0 에 다가가게 했을 때 다가가는 값입니다(1절).
그림은 x 와 h 가 양수일 때 그렸습니다. 펼친 식 (x + h)² = x² + 2xh + h² 은 어떤 수에서나 맞으므로, x 나 h 가 음수여도 2x + h 와 2x 는 그대로입니다.
같은 그림으로 곱의 규칙. 정사각형 대신 가로 u, 세로 v 인 직사각형(넓이 u·v)을 놓습니다. u 와 v 가 모두 x 에 따라 바뀌는 함수라면, x 를 조금 바꿀 때 가로는 Δu, 세로는 Δv 만큼 바뀝니다(Δ 는 「바뀐 양」). 늘어난 넓이는 띠 둘 v·Δu, u·Δv 와 귀퉁이 Δu·Δv 입니다. x 가 바뀐 양으로 나누고 그것을 0 에 다가가게 하면 띠 둘은 u′·v 와 u·v′ 이 됩니다. 귀퉁이를 나눈 것은 (Δu ÷ x 가 바뀐 양) × Δv 인데, 앞의 것은 u′ 에, Δv 는 0 에 다가가므로 사라집니다. 그래서 (u·v)′ = u′·v + u·v′ 입니다. 정사각형은 u = v = x 인 경우라 1·x + x·1 = 2x 입니다. 3절 표의 곱 줄이 이것입니다.
해 볼 것. ① 처음(h = 0.5)에서 「다음」을 세 번 누르면 늘어난 넓이 1.25 = 0.5 + 0.5 + 0.25 가 h 로 나뉘어 1 + 1 + 0.5 = 2.5 가 됩니다. ② 「간격 h」 막대를 맨 왼쪽(h = 1)에 두면 귀퉁이(1)가 띠 하나(1)와 크기가 같고, 평균변화율은 3 입니다. ③ 마지막 단계에 들어서면 h 가 0.1 로 줄어(이미 더 작았으면 그대로) 평균변화율 2.1, 귀퉁이는 띠 하나의 0.1 배가 됩니다. 막대를 오른쪽 끝까지 옮기면 2.01, 2.001 이 되고, 아래 막대의 주황 조각이 사라져 2x 표시에 닿습니다.
3. 자주 쓰는 미분 표
매번 h 를 줄여 가며 계산하지 않아도 됩니다. 자주 나오는 함수의 도함수는 정해져 있습니다.
| 함수 | 도함수 | 예 |
|---|---|---|
상수 c | 0 | 7 → 0. 높이가 그대로라 평평하다 |
xⁿ | n·xⁿ⁻¹ | x² → 2x, x³ → 3x², x → 1 |
eˣ | eˣ | 자기 자신. 값이 클수록 그만큼 가파르다 |
ln x (x > 0) | 1 ÷ x | x = 2 에서 기울기 0.5 |
sin x | cos x | x = 0 에서 기울기 1 |
cos x | −sin x | x = 0 에서 기울기 0 (꼭대기) |
상수배 c·f(x) | c·f′(x) | 5x² → 10x |
합 f(x) + g(x) | f′(x) + g′(x) | x³ − 3x → 3x² − 3 |
곱 f(x)·g(x) | f′(x)·g(x) + f(x)·g′(x) | x·sin x → sin x + x·cos x |
곱의 규칙이 왜 두 몫의 합인지는 식이 만들어지는 과정의 끝에 같은 넓이 그림으로 있습니다.
sin, cos 의 x 는 라디안(반지름 길이로 잰 각도. 한 바퀴 = 2π)일 때 이 표가 맞습니다. 도(°)로 재면 숫자가 달라집니다.
이 표와 5절의 연쇄 법칙이 있으면 흔히 보는 식은 거의 다 미분할 수 있습니다.
4. 미분이 0 인 곳: 바닥, 꼭대기, 평평한 곳
기울기가 + 면 그 자리는 오른쪽이 오르막, − 면 내리막입니다. 오르막이 내리막으로 바뀌는 꼭대기(극댓값)와, 내리막이 오르막으로 바뀌는 바닥(극솟값)에서는 기울기가 0 입니다.
예: f(x) = x³ − 3x. 표로 미분하면 f′(x) = 3x² − 3 입니다. 이것이 0 인 곳은 x² = 1, 곧 x = −1 과 x = 1 입니다.
- x = −1:
f(−1) = −1 + 3 = 2. 왼쪽은 오르막, 오른쪽은 내리막이라 꼭대기입니다. - x = 1:
f(1) = 1 − 3 = −2. 왼쪽은 내리막, 오른쪽은 오르막이라 바닥입니다.
틀리기 쉬운 점이 둘 있습니다. 첫째, 기울기가 0 이라고 늘 바닥이나 꼭대기는 아닙니다. x³ 은 x = 0 에서 기울기가 0 이지만 왼쪽도 오른쪽도 오르막입니다. 잠깐 평평할 뿐입니다. 둘째, 바닥은 그 근처에서 가장 낮은 곳일 뿐 전체에서 가장 낮은 곳은 아닐 수 있습니다. x³ − 3x 의 바닥은 −2 이지만 x = −3 에서는 −18 입니다.
「가장 작은 값 찾기」는 이렇게 기울기가 0 인 곳을 찾는 일과 이어져 있습니다. 식을 풀어 바로 찾을 수 없을 때는 기울기를 보고 내리막 쪽으로 조금씩 갑니다. 이것이 경사 하강법입니다.
해 볼 것. x³ − 3x 를 고르고 P 를 x = 1 에 두면 기울기 0(바닥), x = −1 이면 0(꼭대기), x = 0 이면 −3(내리막)입니다. 아래 파란 그래프가 0 을 지나는 곳이 위 곡선의 바닥과 꼭대기입니다.
5. 연쇄 법칙: 단계마다의 배수를 곱한다
y = (3x)² 은 두 단계로 나눌 수 있습니다. 먼저 u = 3x 를 하고, 그다음 y = u² 을 합니다. 이렇게 함수 안에 함수가 든 것을 합성함수라고 부릅니다.
x 를 아주 조금 바꾸면 첫 단계에서 u 는 그 3배만큼 바뀝니다. u 가 바뀐 것은 둘째 단계에서 다시 2u 배가 됩니다. 그래서 전체로는 3 × 2u 배입니다. 톱니바퀴 둘을 이어 첫 바퀴가 3배, 둘째 바퀴가 6배로 돌리면 끝은 18배로 도는 것과 같습니다.
dy/dx = dy/du × du/dx 같은 말을 함수로 적으면 (f(g(x)))′ = f′(g(x)) × g′(x)
틀리기 쉬운 곳: 바깥 단계의 배수 f′ 는 x 자리가 아니라 안쪽에서 나온 값 u = g(x) 자리에서 잽니다.
입력
「여기서 ×」는 그 상자가 들어온 변화를 몇 배로 키우는지(그 단계의 기울기)입니다. g 의 배수는 x 자리에서, f 의 배수는 u 자리에서 잽니다.
해 볼 것. ① 처음 그대로(y = (3x)², x = 1)면 g 에서 ×3, f 에서 ×6, 전체 18 입니다. x 를 0.001 움직이면 u 는 0.003, y 는 0.018 바뀝니다. ② x 를 0 으로 옮기면 u = 0 이고 f 에서 ×0 이라 전체도 0 입니다. y = 9x² 의 바닥입니다. ③ y = (2x + 1)³ 에서 x = 1 이면 ×2, ×27, 전체 54 입니다. ④ 어느 짝, 어느 x 에서도 배수의 곱은 처음부터 끝까지 바로 잰 기울기와 같습니다. 단계가 셋 이상이어도 모두 곱하면 됩니다.
6. 손으로 따라 풀기: (3x)² 를 연쇄 법칙으로
- 단계를 나눈다.
u = 3x,y = u². - 단계마다 미분한다. 표의 상수배로
du/dx = 3. 표의 xⁿ 으로dy/du = 2u. - 곱한다.
dy/dx = dy/du × du/dx = 2u × 3 = 6u. - u 를 x 로 되돌린다.
6u = 6 × 3x = 18x. - x = 1 을 넣는다. u = 3 이라
dy/du = 2 × 3 = 6,du/dx = 3, 곱은6 × 3 = 18. 실험의 처음 값과 같습니다. - 확인한다. 먼저 펼치면
(3x)² = 9x²이고, 표로 미분하면9 × 2x = 18x. 같습니다.
자주 하는 실수는 바깥만 미분하고 안쪽의 배수를 빠뜨리는 것입니다. 2 × (3x) = 6x 로 끝내면 틀립니다. 안쪽 단계의 ×3 을 곱해야 18x 가 됩니다.
7. 편미분과 그래디언트: 입력이 둘 이상일 때
이번에는 입력이 둘인 함수 f(x, y) = x² + 3y² 입니다. 지도 위의 자리 (x, y) 를 넣으면 땅의 높이가 나온다고 보면 됩니다. 가운데 (0, 0) 이 가장 낮은 그릇 모양입니다. 같은 높이를 이은 선이 등고선입니다.
입력이 둘이면 「어느 쪽으로 움직였을 때의 기울기인가」를 정해야 합니다. 가장 쉬운 방법은 한 번에 하나만 움직이는 것입니다.
- x 만 움직인다. y 는 그대로 둡니다. 그러면
3y²은 바뀌지 않는 숫자(상수)라 미분하면 0 입니다.∂f/∂x = 2x. - y 만 움직인다. x 는 그대로 둡니다.
∂f/∂y = 3 × 2y = 6y.
이것이 편미분입니다. ∂ 는 「다른 입력은 그대로 두고」라는 표시입니다. 계산하는 법은 보통 미분과 같습니다. 두 편미분을 묶은 화살표가 그래디언트입니다.
∇f = (∂f/∂x, ∂f/∂y) = (2x, 6y)
점 P = ( , )
점 P 를 끌거나 칸에 숫자를 넣으세요. 초록 화살표는 x 만 움직인 기울기, 파란 화살표는 y 만 움직인 기울기, 검은 화살표는 둘을 묶은 그래디언트입니다. 화살표 길이는 기울기의 1/4 로 줄여 그렸습니다. 연한 고리는 높이 2, 4, 6, … 의 등고선, 주황 고리는 P 와 같은 높이의 등고선입니다.
그래디언트에는 세 가지 성질이 있습니다.
- 가장 가파른 오르막 방향을 가리킵니다. 길이 1 인 방향 (a, b) 로 조금 가면 기울기는
a × ∂f/∂x + b × ∂f/∂y입니다. 그래디언트와 방향 (a, b) 의 내적입니다. 내적은 두 화살표가 같은 쪽을 볼 때 가장 큽니다. - 길이가 그 가장 가파른 기울기입니다. P = (1, 1) 에서 그래디언트는 (2, 6), 길이는
√(2² + 6²) = √40 ≈ 6.32. 그쪽으로 가면 기울기가 6.32 이고, x 쪽으로만 가면 2 입니다. - 등고선과 직각입니다. 등고선을 따라가면 높이가 바뀌지 않으니 그 방향의 기울기는 0 입니다. 내적이 0 이면 직각입니다.
해 볼 것. ① 처음 P = (1, 1) 에서 ∂f/∂x = 2, ∂f/∂y = 6, 그래디언트는 (2, 6) 이고 길이는 6.32 입니다. y 쪽이 세 배 가파릅니다. ② P 를 (2, 0) 으로 옮기면 그래디언트는 (4, 0) 으로 바로 오른쪽을 가리킵니다. ③ P 를 (0, 0) 에 두면 그래디언트가 (0, 0) 입니다. 바닥이라 오르막 방향이 없습니다. ④ 어디로 옮겨도 검은 화살표는 주황 등고선과 직각입니다.
AI 학습에서는 이렇게 씁니다. 낮은 곳을 찾으려면 그래디언트의 반대쪽으로 조금 갑니다. 학습률(learning rate)을 η 라고 하면 (x, y) ← (x, y) − η × ∇f 입니다. P = (1, 1), η = 0.1 이면 (1, 1) − 0.1 × (2, 6) = (0.8, 0.4) 이고 높이는 4 에서 1.12 로 내려갑니다. 이것을 되풀이하는 것이 경사 하강법입니다. 실제 모델에서는 입력이 둘이 아니라 가중치 수백만 개이고, 편미분도 그만큼 많습니다.
8. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 부호: + 오르막, − 내리막, 0 평평 | 기울기가 0 인 곳이 바닥·꼭대기의 후보다. 늘 그렇지는 않다(x³ 의 x = 0) |
f(x + h) ≈ f(x) + f′(x) × h | 아주 가까이서 보면 곡선은 접선과 거의 같다. x² 에서 x = 1, h = 0.1 이면 진짜 값 1.21, 접선으로 근사한 값 1.2 |
| 합은 합으로, 상수배는 상수배로 | 나눠서 미분한 뒤 더하거나 곱하면 된다 |
| 연쇄 법칙: 이어진 단계의 배수는 곱한다 | 단계가 몇 개든 모두 곱한다. 한 단계라도 0 이면 전체가 0 |
| 그래디언트는 가장 가파른 오르막, 등고선에 직각 | 그 반대쪽이 가장 가파른 내리막. 바닥에서는 (0, 0) |
| 뾰족하거나 끊긴 곳에는 미분이 없다 | |x| 의 x = 0: 왼쪽 기울기 −1, 오른쪽 기울기 +1 이라 하나로 정할 수 없다 |
9. 컴퓨터는 어떻게 미분하나: 수치 미분과 자동 미분
수치 미분은 h 를 작은 수로 정하고 (f(x + h) − f(x)) ÷ h 를 그대로 계산합니다. 쉽지만 근삿값이고, h 를 너무 작게 하면 컴퓨터의 반올림 오차 때문에 오히려 틀립니다. x² 의 x = 1 에서 h = 0.000001 이면 2.000001 이지만, h = 10⁻¹² 이면 2.00018 이 나옵니다. 입력이 n 개면 함수를 n 번 넘게 다시 계산해야 합니다.
자동 미분은 프로그램을 이루는 덧셈, 곱셈, sin 같은 기본 연산마다 미분 표를 알고, 연쇄 법칙으로 배수를 곱해 갑니다. h 를 쓰지 않으니 근사가 아니라 정확한 값이 나옵니다(반올림 정도의 차이뿐). 출력에서 입력 쪽으로 거꾸로 곱해 가는 방식(역방향 모드)은 입력이 백만 개여도 함수를 한 번 계산하는 것의 몇 배 정도 시간에 모든 편미분을 냅니다. 신경망에서는 이것을 역전파라고 부릅니다.
# PyTorch 의 자동 미분
import torch
x = torch.tensor(1.0, requires_grad=True)
y = (3 * x) ** 2
y.backward() # 출력에서 거꾸로 연쇄 법칙을 적용한다
print(x.grad) # tensor(18.) 6절의 손 계산과 같다
이 쪽의 실험은 브라우저 안에서 수치 미분으로 기울기를 잽니다. 한쪽만 보지 않고 양쪽으로 h = 0.00001 만큼 가 본 두 점을 이어 재서, 화면에 적는 소수 둘째 자리까지는 정확한 값과 같습니다.
어디에 쓰나
- AI 학습. 「틀린 정도」(손실)를 가중치 하나하나로 편미분해 그래디언트를 구하고, 그 반대쪽으로 조금씩 가중치를 고칩니다. 경사 하강법과 그 변형(모멘텀, Adam)이 모두 이 그래디언트를 씁니다.
- 역전파. 신경망은 층을 이은 합성함수입니다. 연쇄 법칙으로 출력 쪽부터 층마다의 배수를 곱해 내려가면 모든 가중치의 편미분이 한 번에 나옵니다. 자세한 것은 역전파 쪽에 있습니다.
- 움직임. 위치를 시간으로 미분하면 속도, 속도를 미분하면 가속도입니다. 게임과 시뮬레이션의 물리 계산이 이 관계를 씁니다.
- 가장 좋은 값 찾기. 비용이나 오차를 가장 작게, 이익을 가장 크게 하는 값은 기울기가 0 인 곳에서 찾습니다. 최소제곱의 답도 「제곱의 합」을 미분해 0 으로 두면 나옵니다.
자주 묻는 것
미분이 뭔가요?
입력을 아주 조금 바꿨을 때 출력이 몇 배로 바뀌는지, 곧 그 자리의 기울기를 구하는 일입니다. 곡선이면 그 자리에 딱 붙는 직선(접선)의 기울기입니다.
미분계수와 도함수는 무엇이 다른가요?
미분계수는 한 자리의 기울기로, 숫자 하나입니다. 도함수는 모든 자리의 기울기를 모아 만든 함수입니다. x² 의 x = 1 에서의 미분계수는 2 이고, 도함수는 2x 입니다.
편미분은 보통 미분과 무엇이 다른가요?
계산하는 법은 같습니다. 입력이 여럿일 때 하나만 움직이고 나머지는 고정된 숫자로 보고 미분합니다. 모든 입력의 편미분을 묶은 화살표가 그래디언트입니다.
연쇄 법칙이 AI 에서 왜 중요한가요?
신경망은 계산 단계(층)를 여러 개 이은 함수입니다. 가중치 하나를 조금 바꿀 때 마지막 오차가 몇 배로 바뀌는지 알려면 단계마다의 배수를 곱해야 합니다. 이 곱셈을 출력 쪽부터 거꾸로 차례로 해 나가는 것이 역전파입니다.
미분할 수 없는 곳도 있나요?
있습니다. |x| 의 x = 0 처럼 뾰족한 곳은 왼쪽 기울기(−1)와 오른쪽 기울기(+1)가 달라 하나로 정할 수 없습니다. 끊긴 곳도 미분할 수 없습니다. AI 에서 많이 쓰는 ReLU 도 0 에서 뾰족해서, 프로그램은 그 자리의 기울기를 정해 둔 값(보통 0)으로 씁니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 그 자리의 기울기 | 미분계수(derivative at a point), 순간변화율 |
| 기울기를 모은 함수 | 도함수(derivative). f′(x), dy/dx |
| 기울기를 구하는 일 | 미분(differentiation) |
| 두 점 사이의 평균 기울기 | 평균변화율(average rate of change), 차분몫(difference quotient) |
| 두 점을 잇는 직선 | 할선(secant line) |
| 그 자리에 딱 붙는 직선 | 접선(tangent line) |
| h 를 0 에 다가가게 할 때 | 극한(limit). lim h→0 |
| 함수 안에 함수가 든 것 | 합성함수(composite function). f(g(x)) |
| 단계마다의 배수를 곱한다 | 연쇄 법칙(chain rule) |
| 하나만 움직여 본 기울기 | 편미분(partial derivative). ∂f/∂x |
| 편미분을 묶은 화살표 | 그래디언트(gradient), 기울기 벡터. ∇f |
| 같은 높이를 이은 선 | 등고선(contour line, level curve) |
| 바닥 / 꼭대기 | 극솟값 / 극댓값(local minimum / maximum) |
| 기울기가 0 인 곳 | 임계점(critical point), 정류점(stationary point) |
| h 를 작은 수로 두고 직접 계산 | 수치 미분(numerical differentiation), 유한 차분(finite difference) |
| 기본 연산의 규칙과 연쇄 법칙으로 계산 | 자동 미분(automatic differentiation, autodiff) |
| 출력에서 거꾸로 배수를 곱해 오기 | 역방향 모드(reverse mode), 역전파(backpropagation) |
출처
- OpenStax, Calculus Volume 1. 3.1 Defining the Derivative, 3.3 Differentiation Rules, 3.5 Derivatives of Trigonometric Functions, 3.6 The Chain Rule, 3.9 Derivatives of Exponential and Logarithmic Functions.
- OpenStax, Calculus Volume 3. 4.3 Partial Derivatives, 4.6 Directional Derivatives and the Gradient.
- Baydin, Pearlmutter, Radul, Siskind (2018). Automatic Differentiation in Machine Learning: a Survey. JMLR 18(153). 수치 미분과 자동 미분의 차이, 역방향 모드.
- Rumelhart, Hinton, Williams (1986). Learning representations by back-propagating errors. Nature.
- PyTorch torch.autograd 문서.