테일러 근사: 복잡한 함수를 가까이에서 단순하게

sin x 나 eˣ 같은 함수는 손으로 값을 구하기 어렵습니다. 그런데 한 점 가까이만 보면 더하기와 곱하기만 쓰는 다항식으로 거의 똑같이 흉내 낼 수 있습니다. 차수를 올려 가며 근사가 원래 함수에 달라붙는 것을 보세요.

한 줄 답. 매끈한 함수는 한 점 가까이에서 다항식으로 흉내 낼 수 있습니다. 그 자리의 값만 맞추면 수평선(0차), 기울기까지 맞추면 접선(1차), 휘는 정도인 2계 도함수(second derivative)까지 맞추면 포물선(2차)입니다. 차수를 올릴수록 더 넓은 범위에서 잘 맞습니다. 이것이 테일러 근사입니다.

그림을 좌우로 끌거나 칸에 숫자를 넣으면 중심 a(흰 점)가 옮겨집니다. 먹색은 원래 함수, 주황은 n 차 근사, 초록 띠는 둘의 차이가 0.05 보다 작은 범위입니다. 식에서 주황 글자는 이번 차수에 새로 붙은 항입니다.

1. 가까이에서 보면 단순해진다

곡선도 아주 크게 확대하면 거의 직선으로 보입니다. 이 직선이 미분에서 본 접선입니다. 테일러 근사는 여기서 한 걸음 더 갑니다. 직선 대신 포물선, 3차 곡선처럼 차수가 높은 다항식을 쓰면 더 넓은 범위를 흉내 낼 수 있습니다.

다항식은 x 를 몇 번 곱하고 더한 식입니다(예: 1 + x + x²/2). 컴퓨터도 사람도 쉽게 계산합니다. sin 이나 eˣ 는 그렇지 않습니다. 그래서 어려운 함수를 쉬운 다항식으로 바꿔 쓰는 일이 수학과 공학 곳곳에 나옵니다.

흉내 내는 법은 이렇습니다. 기준이 되는 점 a 하나를 중심으로 정합니다. 그 자리에서 원래 함수와 같은 성질을 하나씩 맞춥니다.

차수중심에서 맞추는 것모양식
0차값 f(a)수평선f(a)
1차값 + 기울기 f′(a)접선f(a) + f′(a)(x − a)
2차값 + 기울기 + 2계 도함수 f″(a)포물선1차 + f″(a)(x − a)² ÷ 2
n차n 번 미분한 것까지n 차 다항식2절의 식

2계 도함수는 기울기가 얼마나 빨리 바뀌는가입니다. 기울기를 한 번 더 미분한 것, 곧 f″입니다. f″ 가 + 면 그릇처럼 위로 열린 모양(∪, 아래로 볼록), − 면 언덕처럼 아래로 열린 모양(∩, 위로 볼록)입니다.

해 볼 것. ① 처음 그대로(sin x, 중심 0, 차수 3)면 식은 x − x³/6 이고 초록 띠는 −1.45 ~ 1.45 입니다. ② 「한 차수씩 자동으로」를 누르면 0 차부터 12 차까지 항이 하나씩 붙습니다. 띠의 오른쪽 끝은 0.05, 0.67, 1.45, 2.22, 3, 3.77 로 넓어지고 11 차에서 그림 끝(4)에 닿습니다. 짝수 차에서는 띠가 그대로입니다. sin 의 짝수 차 항은 0 이기 때문입니다. ③ cos x 를 고르고 중심을 1, 차수를 4 로 두면 띠는 중심 1 을 품고 −0.55 ~ 2.45 입니다. 중심은 0 이 아니어도 됩니다. ④ ln(1 + x) 를 고르면 12 차까지 올려도 띠는 −0.85 ~ 1.02 입니다. sin 처럼 그림 끝까지 넓어지지 않습니다. 까닭은 6절에서 봅니다. ⑤ √(1 + x) 는 띠의 오른쪽 끝이 5 차에서 1.3, 12 차에서 1.24 로 오히려 줄어듭니다.

2. 테일러 식: 항 하나하나의 뜻

차수를 끝까지 올린 식은 이렇습니다.

f(x) ≈ f(a) + f′(a)(x − a) + f″(a)(x − a)² ÷ 2! + f‴(a)(x − a)³ ÷ 3! + …

계수가 왜 f⁽ⁿ⁾(a) ÷ n! 인지는 3절에서 하나씩 맞춰 가며 봅니다.

항뜻
f(a)출발 높이. 중심에서의 값
f′(a)(x − a)기울기 × 중심에서 떨어진 거리. 그 자리의 기울기대로 뻗어 간 만큼
f″(a)(x − a)² ÷ 2!휘는 만큼 고친다. 거리의 제곱이라 가까우면 아주 작고 멀어지면 커진다
f‴(a)(x − a)³ ÷ 3!2계 도함수가 바뀌는 것까지 고친다
f⁽ⁿ⁾(a)(x − a)ⁿ ÷ n!n 번째 고침. 거리가 1 보다 작으면 n 이 클수록 작아진다

뒤의 항일수록 (x − a) 를 여러 번 곱합니다. 중심 가까이에서는 이 거리가 작아서 뒤의 항이 빠르게 작아집니다. 그래서 앞의 몇 항만으로도 충분합니다. 멀리 가면 거리를 거듭제곱한 값이 커져 뒤의 항도 필요해집니다. 실험에서 차수를 올릴수록 띠가 바깥으로 넓어지는 까닭입니다.

항을 끝없이 더한 것을 테일러 급수, 몇 항에서 끊은 다항식을 테일러 다항식이라고 부릅니다. 중심을 0 으로 둔 것은 따로 매클로린 급수라고 부릅니다. 「끝없이 더하면 원래 값에 다가간다」는 말은 극한으로 정확하게 적습니다.

3. 식이 만들어지는 과정: 계수를 하나씩 맞추기

2절의 계수 f⁽ⁿ⁾(a) ÷ n! 은 외울 것이 아닙니다. 다항식을 하나 놓고, 중심에서 원래 함수와 같아지도록 계수를 하나씩 정하면 저절로 나옵니다. 아래는 eˣ 를 중심 0 에서 맞추는 과정입니다(4절의 손 예제와 같은 함수). 중심이 0 이면 x − a 가 그냥 x 라 식이 짧습니다.

x = 0 에서eˣ다항식 p그래서

「다음」을 누르면 한 단계씩 넘어갑니다. 식의 주황 글자는 이번 단계에 정한 조각입니다. 그림의 주황 곡선은 지금까지 정한 계수로 그린 근사이고, 흐린 주황 곡선은 앞 단계의 근사입니다. 아직 정하지 않은 계수는 0 으로 두고 그립니다. 표는 x = 0 에서 eˣ 와 다항식 p 를 견줍니다.

  1. 다항식을 놓는다: p(x) = c₀ + c₁x + c₂x² + c₃x³. 계수 넷을 정하면 곡선 하나가 정해집니다.
  2. 값을 맞춘다: c₀ = f(0). x = 0 을 넣으면 x 가 붙은 항은 모두 0 이 되고 c₀ 만 남습니다. eˣ 는 e⁰ = 1 이라 c₀ = 1. 0차 근사, 수평선입니다.
  3. 기울기를 맞춘다: c₁ = f′(0). 한 번 미분하면 p′(x) = c₁ + 2c₂x + 3c₃x² 이고 x = 0 에서 c₁ 만 남습니다. c₁ = 1. 1차 근사, 접선입니다.
  4. 2계 도함수를 맞춘다: c₂ = f″(0) ÷ 2. 두 번 미분하면 p″(x) = 2c₂ + 6c₃x 이고 x = 0 에서 2c₂ 입니다. 이것이 1 이어야 하니 c₂ = 1 ÷ 2. 2차 근사, 포물선입니다.
  5. 세 번 미분한 것을 맞춘다: c₃ = f‴(0) ÷ 3!. 세 번 미분하면 p‴(x) = 3 × 2 × 1 × c₃ = 6c₃ 입니다. c₃ = 1 ÷ 6.
  6. n 번이면 n! 이 내려온다: cₙ = f⁽ⁿ⁾(0) ÷ n!. xⁿ 을 n 번 미분하면 n, n − 1, …, 1 이 차례로 앞으로 내려와 n! 이 남습니다. 그보다 낮은 차수의 항은 미분하다 사라지고, 높은 차수의 항은 x 가 남아 x = 0 에서 0 입니다. 그래서 항마다 따로 맞출 수 있고, 계수는 늘 f⁽ⁿ⁾(0) ÷ n! 입니다. 중심을 a 로 옮겨 0 대신 a, x 대신 (x − a) 를 쓰면 2절의 식이 됩니다.

eˣ 는 몇 번 미분해도 eˣ 라서 분자가 늘 1 이고, 계수가 1 ÷ n! 로만 보입니다. 다른 함수는 분자에 그 함수의 미분값이 들어갑니다. ln(1 + x) 는 f‴(0) = 2 라서 c₃ = 2 ÷ 3! = 1/3, 5절 표의 x³/3 입니다.

해 볼 것. 「다음」을 누를 때마다 x = 1 에서 근사 값이 0, 1, 2, 2.5, 2.666667, 2.718056 으로 진짜 값 e = 2.718282 에 다가갑니다. 마지막 단계에서는 표의 맨 아래에 p⁽ⁿ⁾(0) = n! × cₙ 줄이 나타나고, 근사는 6 차까지 올라갑니다. eˣ 와의 차이가 0.05 보다 작은 범위는 3 차의 −1.1 ~ 0.99 에서 6 차의 −2.29 ~ 2.11 로 넓어집니다. 첫 실험에서 eˣ, 중심 0 을 고르고 차수를 3 과 6 으로 두면 같은 초록 띠가 나옵니다.

팩토리얼은 왜 붙나

n!(팩토리얼)은 1 부터 n 까지 곱한 수입니다. 3! = 3 × 2 × 1 = 6, 5! = 120.

3차 항 c × (x − a)³ 을 생각해 봅니다. 이것을 세 번 미분하면 지수의 3, 2, 1 이 차례로 앞으로 내려와 3 × 2 × 1 × c = 6c 가 남습니다. 근사의 3 계 도함수를 원래 함수의 f‴(a) 와 같게 하려면 6c = f‴(a), 곧 c = f‴(a) ÷ 3! 이어야 합니다. 미분할 때 내려오는 수를 미리 나눠서 지워 두는 것이 팩토리얼입니다.

또 하나 좋은 점이 있습니다. (x − a)³ 은 x = a 에서 값, 기울기, 2계 도함수가 모두 0 입니다. 그래서 3차 항을 붙여도 앞에서 맞춘 값, 기울기, 2계 도함수가 흐트러지지 않습니다. 항을 하나씩 붙이기만 하면 되는 까닭입니다.

4. 손으로 따라 풀기: e^0.1 과 sin(0.1)

eˣ 는 몇 번을 미분해도 eˣ 입니다. 그리고 e⁰ = 1 입니다. 중심 0 에서 값, 기울기, 2계 도함수가 모두 1 입니다.

  1. 중심을 정한다. 값을 바로 아는 a = 0.
  2. 중심에서 미분값을 모은다. f(0) = 1, f′(0) = 1, f″(0) = 1.
  3. 식에 넣는다. eˣ ≈ 1 + 1 × x + 1 × x² ÷ 2! = 1 + x + x²/2.
  4. x = 0.1 을 넣는다. 1 + 0.1 + 0.01 ÷ 2 = 1.105.
  5. 진짜 값과 비교한다. e^0.1 = 1.105171…. 차이는 0.000171 입니다. 1차까지만 쓰면 1.1 이고 차이는 0.00517 입니다. 항 하나를 더 붙여 차이가 30분의 1 쯤으로 줄었습니다.
  6. 남은 차이를 추정한다. 빠뜨린 첫 항은 x³/6 = 0.001 ÷ 6 = 0.000167 입니다. 남은 차이 0.000171 의 거의 전부입니다. 빠뜨린 첫 항이 오차의 크기를 알려 줍니다.

sin 도 같은 방법으로 합니다. 중심 0 에서 sin 0 = 0, 기울기 cos 0 = 1, 2계 도함수 −sin 0 = 0, 그다음은 −cos 0 = −1 입니다. 그래서 sin x ≈ x − x³/6.

두 번째 실험(6절)에서 eˣ, 차수 2 를 고르고 x 칸에 0.1 을 넣으면 이 숫자가 그대로 나옵니다.

5. 자주 쓰는 전개와 흔한 근사

중심 0 에서의 전개입니다. 「수렴 구간」(interval of convergence)은 항을 끝없이 더했을 때 원래 함수와 같아지는 x 의 범위입니다.

함수전개(중심 0)수렴 구간
sin xx − x³/3! + x⁵/5! − x⁷/7! + …모든 x
cos x1 − x²/2! + x⁴/4! − x⁶/6! + …모든 x
eˣ1 + x + x²/2! + x³/3! + …모든 x
ln(1 + x)x − x²/2 + x³/3 − x⁴/4 + …−1 < x ≤ 1
1 ÷ (1 − x)1 + x + x² + x³ + …−1 < x < 1
√(1 + x)1 + x/2 − x²/8 + x³/16 − …−1 ≤ x ≤ 1
시그모이드 σ(x)1/2 + x/4 − x³/48 + x⁵/480 − …−π < x < π

sin 에는 홀수 차 항만, cos 에는 짝수 차 항만 있습니다. sin 은 좌우를 뒤집으면 부호가 바뀌는 함수이고(sin(−x) = −sin x), cos 은 좌우가 같은 함수라서 그렇습니다.

x 가 작을 때는 앞의 한두 항만 써서 근사합니다. 많이 쓰는 근사입니다.

근사예
sin x ≈ x (작은 각, 라디안)0.1 라디안(약 5.73°)에서 0.1 과 0.0998334. 0.167% 차이
cos x ≈ 1 − x²/2cos 0.1 = 0.995004…, 근삿값 0.995
eˣ ≈ 1 + xe^0.05 = 1.051271…, 근삿값 1.05
ln(1 + x) ≈ xln 1.03 = 0.029559…, 근삿값 0.03. 3% 늘어남의 로그는 거의 0.03
√(1 + x) ≈ 1 + x/2√1.02 = 1.00995…, 근삿값 1.01
1 ÷ (1 − x) ≈ 1 + x1 ÷ 0.98 = 1.020408…, 근삿값 1.02

소각 근사(small-angle approximation)는 각을 라디안으로 잴 때만 맞습니다. 도(°)로 잰 숫자를 그대로 넣으면 안 됩니다. 각이 커지면 빨리 틀립니다. 0.5 라디안(약 29°)에서 sin 0.5 = 0.4794 이니 0.5 와 4% 넘게 차이 납니다.

6. 얼마나 틀리나: 오차와 수렴 반지름

근사는 중심에서 멀어질수록 틀립니다. n 차 근사의 오차는 대략 빠뜨린 첫 항, 곧 (x − a)ⁿ⁺¹ 에 비례합니다. 정확히는 f⁽ⁿ⁺¹⁾(c) × (x − a)ⁿ⁺¹ ÷ (n + 1)! 이고, c 는 a 와 x 사이의 어떤 점입니다. 그래서 2차 근사는 거리가 절반이 되면 오차가 약 8분의 1((1/2)³)이 됩니다.

아래 실험은 중심을 0 에 두고, 점 x 에서 진짜 값과 근사 값이 얼마나 다른지 봅니다. 아래 그림은 차이를 로그 눈금으로 그렸습니다. 한 칸 올라갈 때마다 10배입니다. 아주 작은 차이와 아주 큰 차이를 한 그림에 보려고 이렇게 그립니다.

그림을 좌우로 끌거나 칸에 숫자를 넣으면 점 x 가 옮겨집니다. 보라 선분과 곡선이 차이, 초록 점선이 첫 실험의 임계값 0.05 입니다. 보라 곡선이 초록 점선 아래인 곳이 첫 실험의 띠입니다.

해 볼 것. ① 처음 그대로(eˣ, 차수 2, x = 1)면 진짜 값 2.718282, 근사 값 2.5, 차이 0.218 입니다. ② 차수를 올리면 근사 값이 2.666667, 2.708333, 2.716667, 2.718056 으로 e = 2.718282 에 다가갑니다. 12 차의 차이는 1.73×10⁻¹⁰ 입니다. ③ 차수 2 에서 x 를 0.1 로 두면 손 예제의 숫자(1.105171, 1.105, 0.000171)가, 0.05 로 두면 차이 2.11×10⁻⁵ 가 나옵니다. 거리가 절반이면 차이는 약 8분의 1 입니다. x 를 2, 3, 4 로 옮기면 차이는 2.39, 11.6, 41.6 으로 빠르게 커집니다. ④ 수렴 구간의 한계. ln(1 + x) 를 고르고 x 를 2 에 두세요. 차수를 1 부터 올리면 근사 값이 2, 0, 2.666667, −1.333333 … 으로 널뛰고 차이는 0.901, 1.1, 1.57, 2.43 … 12 차에서 221 로 커집니다. 차수를 올릴수록 더 틀립니다. x = 0.5 에서는 반대로 차이가 0.0945, 0.0305 … 12 차에서 6.42×10⁻⁶ 으로 줄어듭니다. ⑤ 1 ÷ (1 − x) 에서 x = −1.5 로 두면 진짜 값은 0.4 인데 12 차 근사는 78.247803 입니다. ⑥ 시그모이드는 x = 3 에서 차수를 3, 7, 11 로 올리면 차이가 0.265, 0.22, 0.183 으로 천천히 줄고, x = 3.5 에서는 0.489, 0.751, 1.16 으로 커집니다. 경계는 π(약 3.14)입니다.

④와 ⑤에서 보듯 ln(1 + x) 와 1 ÷ (1 − x) 는 중심 0 에서 근사하면 |x| 가 1 보다 큰 곳에서 차수를 아무리 올려도 맞지 않습니다. 1 ÷ (1 − x) 는 x = 1 에서 값이 없고(끝없이 커짐), ln(1 + x) 는 x = −1 에서 값이 없습니다. 중심에서 이 문제 점까지의 거리 1 이 수렴 구간의 반지름이 됩니다. 이 거리를 수렴 반지름이라고 부릅니다. 반지름 안에서는 차수를 올릴수록 맞고, 밖에서는 차수를 올릴수록 틀립니다.

시그모이드는 실수 위 어디서나 매끈한데도 반지름이 π 입니다. 복소수까지 넓혀 보면 중심에서 π 떨어진 곳에 문제 점이 있기 때문입니다. 이 쪽에서는 더 다루지 않습니다. 반대로 sin, cos, eˣ 는 문제 점이 없어 반지름이 끝이 없습니다. 차수만 넉넉하면 어디서든 맞습니다.

7. 1차는 접선, 2차는 포물선: 뉴턴 방법

1차 근사 f(a) + f′(a)(x − a) 는 그 자리의 기울기대로 뻗은 직선, 곧 접선입니다. 휘는 것을 모르니 곡선이 휘는 쪽으로 금방 멀어집니다.

2차 근사는 여기에 f″(a)(x − a)² ÷ 2 를 더한 포물선입니다. 휘는 방향까지 맞춥니다. f″(a) 가 + 면 위로 열린 포물선(아래로 볼록), − 면 아래로 열린 포물선(위로 볼록)입니다.

포물선은 꼭짓점을 쉽게 구할 수 있습니다. 포물선의 기울기 f′(a) + f″(a)(x − a) 가 0 인 곳입니다.

꼭짓점 x = a − f′(a) ÷ f″(a)

진짜 함수의 바닥은 바로 구하기 어렵습니다. 그래서 지금 자리에서 2차 근사를 만들고, 그 포물선의 꼭짓점으로 옮겨 가고, 거기서 다시 2차 근사를 만듭니다. 이것을 되풀이하는 것이 바닥 찾기의 뉴턴 방법입니다.

그림을 좌우로 끌거나 칸에 숫자를 넣으면 중심 a 가 옮겨집니다. 초록은 1차 근사(접선), 파랑은 2차 근사(포물선), 주황 점은 포물선의 꼭짓점입니다. 「꼭짓점으로 옮기기」는 뉴턴 방법의 한 스텝입니다.

해 볼 것. ① 처음 그대로(cos x, a = 2.5)면 기울기 −0.5985, 2계 도함수 0.8011 로 위로 열린 포물선이고 꼭짓점은 3.247 입니다. ② 「꼭짓점으로 옮기기」를 누를 때마다 a 가 3.247, 3.1412, 3.1416 으로 갑니다. 세 번 만에 cos x 의 진짜 바닥 π = 3.14159… 에 소수 넷째 자리까지 닿습니다. ③ a 를 0.5 에 두면 2계 도함수가 −0.8776 이라 아래로 열린 포물선이고, 꼭짓점 −0.0463 은 꼭대기입니다. 단추를 두 번 누르면 cos x 의 꼭대기 0 에 닿습니다. 뉴턴 방법은 기울기가 0 인 곳을 찾을 뿐 바닥인지 꼭대기인지 가리지 않습니다. ④ sin x 를 고르고 a 를 0 에 두면 2계 도함수가 0 이라 포물선이 접선과 겹칩니다. 꼭짓점이 없어 단추가 꺼집니다. ⑤ 「1차(접선)」를 끄고 포물선만 보면, 포물선이 접선보다 넓은 범위에서 곡선에 붙어 있습니다.

뉴턴 방법은 학습률(learning rate)을 사람이 정하지 않아도 됩니다. 바닥 가까이에서는 아주 빨리 닿습니다. 대신 2계 도함수 f″ 를 알아야 합니다. 입력이 수백만 개인 AI 모델에서는 f″ 가 숫자 하나가 아니라 입력 수 × 입력 수 크기의 표(헤세 행렬)가 되어 구하고 다루기가 아주 비쌉니다.

8. 경사 하강법은 1차 근사를 믿는 것

경사 하강법은 기울기의 반대쪽으로 조금 갑니다. 학습률을 η 라고 하면 x ← x − η × f′(x) 입니다. 왜 이렇게 가는지는 1차 근사로 보입니다.

1차 근사로는 f(x + Δ) ≈ f(x) + f′(x) × Δ 입니다. Δ = −η f′(x) 를 넣으면 f(x) − η × f′(x)². 제곱은 0 보다 작지 않으니 근사는 「늘 내려간다」고 말합니다. η 를 키울수록 더 많이 내려간다고도 말합니다.

하지만 1차 근사는 가까이에서만 맞습니다. 스텝이 커지면 빠뜨린 2차 항 f″ × Δ² ÷ 2 가 커집니다. 곡선이 위로 휘어 있으면(f″ > 0) 실제 높이는 근사보다 높고, 스텝이 너무 크면 오히려 올라갑니다.

x² 처럼 2계 도함수가 어디서나 같은 포물선이라면 경계가 정확히 나옵니다. 학습률이 2 ÷ f″ 보다 작으면 내려가고, 크면 올라갑니다. x² 는 f″ = 2 라서 경계가 1 입니다. 가운데 η = 1 ÷ f″ = 0.5 는 한 스텝에 바닥에 닿습니다. 이 스텝은 뉴턴 방법의 스텝과 같습니다.

그림을 좌우로 끌거나 칸에 숫자를 넣으면 지금 자리 a 가 옮겨집니다. 주황 직선은 1차 근사(접선)이고 주황 점은 그 근사가 예측한 새 높이, 파란 점은 실제 새 높이, 보라 선분은 근사가 틀린 만큼입니다. 회색 점선은 지금 높이입니다.

해 볼 것. ① 처음 그대로(x², a = 2, η = 0.1)면 기울기 4, 새 자리 1.6 입니다. 접선은 새 높이가 2.4 라고 했고 실제로는 2.56 입니다. 1.44 내려갔습니다. 근사가 틀린 만큼 0.16 은 스텝 0.4 의 제곱입니다. ② η 를 0.25 로 올리면 새 자리 1, 예측 0, 실제 1. η = 0.5 면 새 자리 0, 예측 −4, 실제 0 으로 한 스텝에 바닥입니다. ③ η = 1 이면 새 자리 −2, 실제 높이 4 로 제자리 높이입니다. η = 1.2 면 새 자리 −2.8 에서 실제 높이 7.84 로 3.84 올라갑니다. 접선은 −15.2 까지 내려간다고 했습니다. 「한 스텝 가기」를 누르면 a 가 −2.8 로 옮겨 가고, 다음 스텝은 3.92(높이 15.3664)로 더 멀리 튑니다. ④ cos x 를 고르고 a 를 2.5 에 두세요. 2계 도함수가 0.8011 로 x² 의 2 보다 작아서 더 큰 스텝도 견딥니다. η = 2 면 0.0486 내려가지만, η = 2.5 면 0.1446 올라갑니다.

그래서 학습률(스텝 크기)은 「손실의 2계 도함수」에 맞춰야 합니다. 가파르게 휜 방향이 있으면 작은 스텝만 안전합니다. 입력이 여럿일 때 이 2계 도함수들은 헤세 행렬의 고윳값으로 나옵니다.

9. 꼭 알아야 할 성질

성질쉬운 말
중심에서는 n 계 도함수까지 원래 함수와 같다값, 기울기, 2계 도함수, … 를 차례로 맞춘 것이 n 차 근사다
가까울수록 잘 맞는다n 차 근사의 오차는 거리의 (n + 1) 제곱 정도로 커진다. 2차 근사는 거리가 절반이면 오차가 약 8분의 1
차수를 올리면 맞는 범위가 넓어진다. 단 수렴 반지름 안에서만sin, cos, eˣ 는 어디까지든. ln(1 + x), 1 ÷ (1 − x) 는 중심 0 에서 |x| < 1 까지
항을 더해도 앞의 맞춤은 그대로(x − a)ᵏ 은 중심에서 k − 1 번까지 미분해도 0 이다
좌우 대칭이 계수에 드러난다sin 처럼 f(−x) = −f(x) 면 홀수 차 항만, cos 처럼 f(−x) = f(x) 면 짝수 차 항만 남는다(중심 0)

어디에 쓰나

자주 묻는 것

테일러 근사와 테일러 급수는 무엇이 다른가요?

근사는 몇 개의 항에서 끊은 다항식이고, 급수는 항을 끝없이 더한 것입니다. 급수는 수렴 반지름 안에서만 원래 함수와 같아집니다. 실제 계산에서는 늘 몇 항에서 끊어 씁니다.

차수를 높이면 어디서나 더 잘 맞나요?

아닙니다. 수렴 구간 안에서만 그렇습니다. ln(1 + x) 를 중심 0 에서 근사하면 x = 2 에서는 차수를 올릴수록 차이가 0.901, 1.1, 1.57 로 커지고 12 차에서는 221 이 됩니다. 수렴 구간 안이라도 중심에서 멀면 차수를 많이 올려야 합니다.

왜 팩토리얼로 나누나요?

(x − a)ⁿ 을 n 번 미분하면 n × (n − 1) × … × 1, 곧 n! 이 앞으로 내려옵니다. 근사의 n 계 도함수를 원래 함수의 n 계 도함수와 같게 하려면 그 n! 을 미리 나눠 지워 둬야 합니다.

경사 하강법과 뉴턴 방법은 테일러 근사와 어떤 관계인가요?

경사 하강법은 1차 근사(접선)를 믿고 내리막으로 한 스텝 갑니다. 뉴턴 방법은 2차 근사(포물선)를 만들고 그 꼭짓점으로 바로 갑니다. 근사는 가까이에서만 맞으므로, 스텝이 너무 크면 경사 하강법은 오히려 올라갈 수 있습니다.

매클로린 급수는 무엇인가요?

중심을 0 으로 둔 테일러 급수입니다. sin x = x − x³/6 + x⁵/120 − … 처럼 교과서의 전개 표는 대개 매클로린 급수입니다.

낱말

여기서 쓴 말책에서 부르는 말
한 점 가까이에서 다항식으로 흉내 내기테일러 근사(Taylor approximation)
n 차 근사n 차 테일러 다항식(Taylor polynomial of degree n). Tₙ(x), Pₙ(x)
항을 끝없이 더한 것테일러 급수(Taylor series)
중심이 0 인 테일러 급수매클로린 급수(Maclaurin series)
중심 a전개의 중심(center), 전개점(expansion point)
휘는 정도2계 도함수(second derivative). f″
n 번 미분한 것n 계 도함수(n-th derivative). f⁽ⁿ⁾
1 부터 n 까지 곱한 수팩토리얼, 계승(factorial). n!
근사와 원래 함수의 차이오차, 나머지항(remainder). Rₙ(x)
끝없이 더해 맞는 범위의 반지름수렴 반지름(radius of convergence)
그릇 모양 / 언덕 모양아래로 볼록, 볼록(convex) / 위로 볼록, 오목(concave)
포물선의 꼭짓점으로 옮기기를 되풀이뉴턴 방법(Newton's method)
1차 근사를 믿고 내려가기경사 하강법(gradient descent), 1차 최적화(first-order optimization)
휘는 정도까지 쓰는 방법2차 최적화(second-order optimization)
한 스텝에 가는 거리학습률(learning rate). η
휘는 정도를 모은 표헤세 행렬(Hessian matrix)
작은 각의 근사소각 근사(small-angle approximation)

출처

← 편미분과 그래디언트야코비안과 헤시안 →