역전파: 신경망이 배우는 방법
신경망은 틀린 만큼 가중치를 고쳐서 배웁니다. 그런데 가중치가 수백만 개라면, 어느 것을 어느 쪽으로 얼마나 고쳐야 할까요? 역전파가 그것을 한 번에 셈합니다. 아래 그림에서 한 칸씩 따라가 보세요.
한 줄 답. 역전파는 「가중치 하나하나를 조금 바꾸면 틀린 정도(손실)가 얼마나 바뀌는가」(기울기)를 한 번에 셈하는 방법입니다. 먼저 계산을 앞에서 뒤로 한 번 하고(순전파), 손실에서 출발해 뒤에서 앞으로 칸마다 기울기를 곱해 넘겨줍니다(연쇄 법칙). 그렇게 구한 기울기의 반대쪽으로 가중치를 조금 고칩니다.
동그라미는 값, 네모는 계산입니다. 동그라미 위의 초록 숫자(= …)가 값, 아래의 주황 숫자(기울기 …)가 기울기입니다. 굵은 파란 테두리는 고칠 가중치, 점선 테두리는 주어진 자료입니다. 초록 실선 화살표(→)는 값이 앞으로 간 길, 주황 점선 화살표(←)는 기울기가 거꾸로 돌아온 길입니다. 「지금 계산 ▾」 이름표가 붙은 칸이 이번 단계에서 셈하는 칸이고, 그림 맨 아래에 그 셈이 실제 숫자로 나옵니다(역전파는 기울기 = 뒤에서 온 기울기 × 이 칸의 미분). 숫자는 세 자리로 반올림해 보입니다.
| 칸 | 받는 값 | 자기 기울기 | × 뒤에서 온 기울기 | = 넘겨줄 기울기 |
|---|
막대나 숫자 칸으로 처음 값을 바꾸면 그 자리에서 다시 셈합니다. 「가중치 고치기」는 역전파가 끝나야 눌리고, 누를 때마다 손실 그래프에 점이 하나 늘어납니다. 예 단추를 다시 누르면 처음 숫자로 돌아갑니다. 이 그래프는 손으로 따라갈 수 있게 작게 줄인 본보기입니다. 진짜 신경망은 같은 칸이 수백만 개 이어져 있고, 자료 하나 대신 여러 개를 한꺼번에 넣습니다.
1. 왜 필요한가: 하나씩 흔들어 볼 수 없다
학습은 손실을 줄이는 일입니다. 손실은 신경망의 답이 정답과 얼마나 다른지를 숫자 하나로 적은 것입니다. 손실을 줄이려면 가중치마다 「조금 올리면 손실이 늘어나나 줄어드나, 얼마나 빨리」를 알아야 합니다. 이것이 그 가중치의 기울기입니다. 기울기가 음수면 올려야 하고, 양수면 내려야 합니다.
가장 쉬운 방법은 하나씩 흔들어 보는 것입니다. w 를 0.0001 만큼 올려 계산을 처음부터 다시 하고, 손실이 얼마나 바뀌었는지 봅니다. 가중치가 셋이면 계산을 세 번 더 하면 됩니다. 그런데 가중치가 100만 개면 한 스텝(step, 가중치를 한 번 고치는 일)을 가려고 계산을 100만 번 넘게 더 해야 합니다.
| 방법 | 가중치가 n 개일 때 한 스텝에 드는 계산 |
|---|---|
| 하나씩 흔들기(수치 미분) | 순전파 n 번 더. 양쪽으로 흔들면 2n 번 |
| 역전파 | 순전파 한 번 + 역전파 한 번. 역전파는 칸마다 곱셈 몇 번이라, 순전파의 몇 배 안쪽이다 |
역전파는 n 이 커져도 계산이 n 배로 늘지 않습니다. 그래서 큰 신경망을 학습시킬 수 있습니다.
2. 계산 그래프 읽기
신경망의 계산은 작은 계산을 이어 붙인 것입니다. 실험의 기본 예 「뉴런 하나」는 이렇습니다. 신경망의 뉴런 하나와 같은 꼴입니다(신경망).
z = w·x + b 입력 x 에 가중치 w 를 곱하고 편향 b 를 더한다
a = σ(z) 시그모이드: 어떤 수든 0 과 1 사이로 누른다
L = (a − y)² 손실: 답 a 가 정답 y 와 얼마나 다른가
x: 입력. 주어진 자료입니다.y: 정답. 주어진 자료입니다.w: 입력에 곱하는 가중치. 고칠 값입니다.b: 편향(bias). 고칠 값입니다.z: 입력에 가중치를 곱하고 편향을 더한 값.σ: 시그모이드. 어떤 수든 0 과 1 사이로 누릅니다.a: 뉴런의 답.σ(z)입니다.L: 손실. 답 a 가 정답 y 와 얼마나 다른가.
시그모이드는 σ(z) = 1 ÷ (1 + e^(−z)) 입니다. z 가 0 이면 0.5, 크면 1 에 가깝고, 아주 작으면 0 에 가깝습니다.
그림에서 동그라미가 값, 네모가 계산, 화살표가 「이 값이 저 계산에 들어간다」입니다. x 와 y 는 주어진 자료(점선 테두리)이고, w 와 b 가 고칠 가중치(파란 테두리)입니다. 처음에는 x, w, b, y 만 압니다.
해 볼 것. ① 「다음 단계」를 세 번 누르면 초록 숫자가 왼쪽부터 채워집니다. z = 0, a = 0.5, L = 0.25. ② 네 번 더 누르면 주황 숫자가 오른쪽부터 채워지고 ∂L/∂w = −0.5, ∂L/∂b = −0.25 가 나옵니다. ③ 「가중치 고치기」를 누르면 손실이 0.25 에서 0.0496 으로 줄어듭니다. 모두 다섯 번 누르면 0.0111 까지 내려가고, 아래 작은 그래프에 내려가는 선이 그려집니다.
3. 연쇄 법칙: 기울기는 곱으로 이어진다
기울기(미분)는 「입력을 조금 바꾸면 출력이 몇 배만큼 바뀌나」입니다(미분). 예를 들어 a = σ(z) 의 기울기는 z = 0 에서 0.25 입니다. z 를 0.01 올리면 a 는 약 0.0025 오릅니다.
계산이 이어져 있으면 배수가 곱해집니다. z 가 a 를 0.25 배로 움직이고 a 가 L 을 −1 배로 움직이면, z 는 L 을 0.25 × (−1) = −0.25 배로 움직입니다. 이것이 연쇄 법칙입니다.
∂L/∂z = ∂L/∂a × ∂a/∂z
∂L/∂z 는 「z 하나만 조금 바꿀 때 L 이 바뀌는 비율」이라고 읽습니다. ∂ 는 「다른 값은 그대로 두고 이것 하나만 바꾼다」는 표시입니다. 그래서 w 의 기울기는 w 에서 L 까지 가는 길의 배수를 모두 곱한 것입니다.
∂L/∂w = ∂L/∂a × ∂a/∂z × ∂z/∂w = 2(a − y) × a(1 − a) × x
이 식이 왜 곱인지는 이 절 다음의 식이 만들어지는 과정에서 w 를 조금 흔들어 보며 한 단계씩 조립합니다.
역전파는 이 곱을 오른쪽부터 셉니다. 오른쪽 끝(∂L/∂L = 1)에서 출발해, 칸을 하나 지날 때마다 그 칸의 자기 기울기를 곱합니다. 그러면 ∂L/∂a, ∂L/∂z 가 차례로 나오고, z 에서 w 와 b 가 동시에 받습니다. w 와 b 는 앞부분의 곱(∂L/∂z)을 같이 씁니다. 이렇게 겹치는 곱을 한 번만 셈하는 것이 역전파가 빠른 까닭입니다.
식이 만들어지는 과정: 연쇄 법칙의 곱
3절의 식 ∂L/∂w = ∂L/∂a × ∂a/∂z × ∂z/∂w 가 왜 곱인지, w 를 아주 조금 흔들어 보며 조립합니다. w 가 흔들리면 z 가 흔들리고, 그 흔들림이 a 를, 다시 L 을 흔듭니다. 칸마다 흔들림이 몇 배가 되어 넘어가는지 재서 이어 붙이면 식이 됩니다. 숫자는 실험의 기본 예 그대로입니다(x = 2, w = 0.5, b = −1, y = 1 이라 z = 0, a = 0.5, L = 0.25). Δw 는 「w 가 바뀐 양」이라고 읽습니다(Δ 는 그리스 글자 델타).
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 값마다 바뀐 양만큼 자라고, 그림 옆에 까닭이 나옵니다. 막대는 Δw = 0.001 을 한 칸(맨 아래 자)으로 잰 길이라 아주 작은 변화도 보입니다. 파란 막대는 w, 초록 막대는 z, a, L 이 바뀐 양이고, 오른쪽은 늘어남, 왼쪽은 줄어듦입니다. 주황 글자는 칸마다의 배수입니다. 이 그림의 숫자는 기본 예로 고정되어 있습니다.
- z 칸:
∂z/∂w = x. w 를 Δw = 0.001 만큼 키웁니다.z = w·x + b에서 x 와 b 는 그대로이니 z 는(w + Δw)·x + b − (w·x + b) = x·Δw, 곧 2 × 0.001 = 0.002 만큼 바뀝니다. 남는 조각 없이 딱 x 배입니다. 이 배수가 ∂z/∂w 입니다. - a 칸:
∂a/∂z = a(1 − a). z 가 0 에서 0.002 로 가면 a = σ(z) 는 0.5 에서 0.5005 로, 0.0005 만큼 바뀝니다. 0.002 의 0.25 배입니다. 시그모이드는 휘어 있어서 배수가 자리마다 다른데, 이 자리의 배수(기울기)가a(1 − a) = 0.5 × 0.5 = 0.25입니다. 시그모이드의 기울기가 왜 a(1 − a) 인지는 여기서 증명하지 않습니다. 휘어 있으니 딱 0.25 배는 아니지만, Δz 가 작을수록 0.25 배에 가까워집니다. - L 칸:
∂L/∂a = 2(a − y). a 가 Δa 만큼 바뀌면 L 은(a + Δa − y)² − (a − y)² = 2(a − y)·Δa + Δa²만큼 바뀝니다. Δa 가 작으면 Δa² 는 훨씬 더 작으니(0.0005² = 0.00000025) 버리면, 배수는2(a − y) = 2 × (0.5 − 1) = −1이고 ΔL ≈ −1 × 0.0005 = −0.0005 입니다. 배수가 음수라 a 가 오르면 L 은 내려갑니다. - 이어 곱하기:
∂L/∂w = ∂L/∂a × ∂a/∂z × ∂z/∂w. 앞의 셋을 차례로 넣으면ΔL ≈ 2(a − y) × Δa ≈ 2(a − y) × a(1 − a) × Δz = 2(a − y) × a(1 − a) × x × Δw입니다. 양쪽을 Δw 로 나누면 「w 를 1 바꿀 때 L 이 바뀌는 비율」이 세 배수의 곱으로 나옵니다: (−1) × 0.25 × 2 = −0.5. 흔들림은 칸을 지날 때마다 그 칸의 배수만큼 커지거나 줄어든 채로 다음 칸에 들어가므로, 배수는 더해지지 않고 곱해집니다. Δw 를 0 에 가깝게 줄이면 ≈ 가 = 가 됩니다. 이것이 연쇄 법칙이고, 엄밀한 증명은 여기서 하지 않습니다. - 흔들어 재 보기:
≈ ΔL ÷ Δw. 정말 그런지 1절의 방법(하나씩 흔들기)으로 잽니다. w 를 0.501 로 바꿔 처음부터 다시 셈하면 z = 0.002, a = 0.5005, L = 0.24950025 입니다. ΔL = −0.00049975 이고, Δw = 0.001 로 나누면 −0.49975 입니다. 곱으로 구한 −0.5 와 0.00025 다릅니다. 이 차이는 거의 모두 3번에서 버린 Δa² 를 Δw 로 나눈 것입니다(0.00000025 ÷ 0.001). Δw 를 0.0001 로 줄이면 −0.499975, 차이도 10분의 1(0.000025)이 됩니다. - 완성:
∂L/∂w = 2(a − y) × a(1 − a) × x. 기본 예에서 −0.5 로, 5절의 손 계산과 실험의 역전파가 구한 값과 같습니다. w 대신 b 를 흔들면 z 가 Δb 만큼 그대로 바뀌므로(∂z/∂b = 1) 마지막 배수만 1 로 바뀝니다:∂L/∂b = 2(a − y) × a(1 − a) × 1 = −0.25.
4. 절차: 순전파 한 번, 역전파 한 번
- 순전파. 왼쪽에서 오른쪽으로 칸마다 값을 셈하고 기억해 둡니다. 역전파 때 다시 씁니다(σ 칸은 a 가, 곱하는 칸은 x 가 필요합니다).
- 출발. 손실의 기울기를 1 로 둡니다. L 을 L 로 미분하면 1 입니다.
- 역전파. 오른쪽에서 왼쪽으로, 칸마다
넘겨줄 기울기 = 자기 기울기 × 뒤에서 온 기울기를 셈해 그 칸의 입력에 넘겨줍니다. - 더하기. 한 값이 여러 칸에 쓰였으면 받은 기울기를 모두 더합니다(6절).
- 고치기. 가중치마다
w ← w − 학습률 × ∂L/∂w. 이것은 경사 하강법의 일입니다.
칸마다 자기 기울기는 미리 정해져 있습니다. 실험에 나오는 칸은 이것이 전부입니다.
| 칸 | 계산 | 자기 기울기 |
|---|---|---|
| 곱하고 더하기 | z = w·x + b | ∂z/∂w = x, ∂z/∂b = 1, ∂z/∂x = w |
| 시그모이드 σ | a = σ(z) | a(1 − a). 많아야 0.25(a = 0.5 일 때) |
| 렐루 | h = relu(z) = max(0, z) | z 가 0 보다 크면 1, 아니면 0 |
| 제곱 오차 | L = (a − y)² | ∂L/∂a = 2(a − y) |
| 곱 | u·v | 상대편 값. u 쪽은 v, v 쪽은 u |
| 더하기 | w + 1 | 1. 받은 기울기를 그대로 넘긴다 |
5. 손으로 따라가기
실험의 처음 숫자 그대로입니다. x = 2, w = 0.5, b = −1, y = 1, 학습률(learning rate, 한 번에 고치는 크기) 1. 실험에서 「다음 단계」를 누를 때마다 나오는 숫자와 같습니다.
| 단계 | 셈 | 결과 |
|---|---|---|
| 순전파 1 | z = 0.5 × 2 + (−1) | 0 |
| 순전파 2 | a = σ(0) | 0.5 |
| 순전파 3 | L = (0.5 − 1)² | 0.25 |
| 역전파 출발 | ∂L/∂L | 1 |
| 역전파 1: 손실 칸 | ∂L/∂a = 2(a − y) × 1 = 2 × (0.5 − 1) × 1 | −1 |
| 역전파 2: σ 칸 | ∂L/∂z = a(1 − a) × ∂L/∂a = 0.25 × (−1) | −0.25 |
| 역전파 3: 곱하고 더하기 칸 | ∂L/∂w = x × ∂L/∂z = 2 × (−0.25)∂L/∂b = 1 × ∂L/∂z | −0.5 −0.25 |
| 고치기 | w ← 0.5 − 1 × (−0.5)b ← −1 − 1 × (−0.25) | 1 −0.75 |
| 다시 순전파 | z = 1 × 2 + (−0.75) = 1.25, a = σ(1.25) ≈ 0.7773, L = (0.7773 − 1)² | 약 0.0496 |
손실이 0.25 에서 약 0.0496 으로 줄었습니다. ∂L/∂w 가 음수(−0.5)라는 것은 「w 를 올리면 손실이 준다」는 뜻이라 w 를 올렸습니다. x 와 y 는 자료라서 기울기를 셈하지 않았습니다. 자료는 고치지 않기 때문입니다.
6. 갈래가 합쳐지면 더한다
한 값이 두 곳에 쓰이면, 그 값을 조금 바꿀 때 두 길로 동시에 손실이 바뀝니다. 그래서 두 길로 돌아온 기울기를 더합니다.
실험의 「두 갈래」 예는 L = (w·x)·(w + 1) 입니다. w 가 u = w·x 와 v = w + 1 두 곳에 들어갑니다. 신경망의 손실은 아니고, 더하는 규칙만 보려고 만든 작은 식입니다. x = 3, w = 1 이면 u = 3, v = 2, L = 6 입니다.
| 길 | 셈 | w 가 받는 것 |
|---|---|---|
| v 쪽(+ 1 칸) | ∂L/∂v = u = 3, ∂v/∂w = 1 | 1 × 3 = 3 |
| u 쪽(× 칸) | ∂L/∂u = v = 2, ∂u/∂w = x = 3 | 3 × 2 = 6 |
| 합 | 3 + 6 = 9 |
검산: L = 3w² + 3w 이므로 기울기는 6w + 3, w = 1 에서 9 입니다. 신경망에서는 흔한 일입니다. 한 뉴런의 출력이 다음 겹의 여러 뉴런에 들어가고, 한 가중치가 여러 자료에 같이 쓰입니다.
해 볼 것. ① 「두 갈래」를 고르고 「다음 단계」를 끝까지 누르세요. w 아래에 먼저 3 이 적히고(+ 1 칸에서 온 것), 마지막 단계에서 6 이 더해져 9 가 됩니다. ② w 를 2 로 바꾸면 L = 18, w 의 기울기는 6 + 9 = 15 입니다. ③ 이 식은 L 이 음수도 될 수 있습니다. 「가중치 고치기」를 되풀이하면 w 는 −0.5 로, L 은 −0.75 로 갑니다.
7. 겹이 많아지면: 기울기가 사라지거나 터진다
「두 겹」 예는 h = relu(w₁·x + b₁), a = w₂·h + b₂, L = (a − y)² 입니다. 앞 겹의 기울기는 뒤 겹을 모두 지나온 곱입니다.
∂L/∂w₁ = 2(a − y) × w₂ × (z₁ > 0 ? 1 : 0) × x
처음 숫자(x = 2, w₁ = 0.5, b₁ = 0.5, w₂ = 1, b₂ = −1, y = 1.5)에서는 (−2) × 1 × 1 × 2 = −4 입니다.
겹이 열 개, 백 개가 되면 이 곱이 아주 길어집니다. 곱하는 수가 대부분 1 보다 작으면 곱은 0 에 가까워집니다. 이것이 기울기 소실입니다. 앞쪽 겹의 가중치는 거의 바뀌지 않아 배우지 못합니다. 시그모이드의 자기 기울기는 많아야 0.25 라서, 시그모이드를 열 번 지나면 다른 것을 빼고도 0.25¹⁰ ≈ 0.00000095 입니다. 반대로 곱하는 수가 대부분 1 보다 크면 곱이 아주 커집니다. 이것이 기울기 폭발입니다. 2 를 50 번 곱하면 1,000조가 넘습니다. 스텝이 너무 커져 가중치가 엉뚱한 곳으로 튑니다.
| 흔한 대책 | 하는 일 |
|---|---|
| ReLU(렐루) | 양수 쪽 자기 기울기가 1 이라 곱해도 줄지 않는다. 대신 음수 쪽은 0 이라 그 길은 끊긴다 |
| 잔차 연결 | 출력 = 입력 + 계산(입력). 더하기 칸은 기울기를 그대로 넘기므로 곱을 거치지 않는 지름길이 생긴다 |
| 정규화 | 겹마다 값을 고른 크기로 맞춰, 곱하는 수가 너무 크거나 작아지지 않게 한다(배치 정규화, 층 정규화) |
| 기울기 자르기 | 기울기의 크기가 정한 값을 넘으면 그 크기로 줄인다. 폭발을 막는다 |
해 볼 것. ① 「뉴런 하나」에서 y 를 0, w 를 3 으로 바꾸고 「끝까지 한 번에」를 누르세요. a = 0.993 이라 정답 0 과 멀어 손실이 0.987 인데, ∂L/∂w 는 0.0264 뿐입니다. 처음(손실 0.25, 기울기 −0.5)보다 틀린 정도는 약 4배인데 기울기는 약 19분의 1 입니다. σ 칸의 자기 기울기가 0.00665 라서입니다. ② 「두 겹」에서 b₁ 을 −2 로 바꾸고 「끝까지 한 번에」를 누르세요. z₁ = −1 이라 렐루가 0 을 내고 자기 기울기도 0 입니다. w₁, b₁ 의 기울기가 0 이 되고, h = 0 이라 w₂ 의 기울기도 0 입니다. 「가중치 고치기」를 누르면 b₂ 만 바뀝니다(손실 6.25 → 5.06).
8. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 기울기는 곱으로 이어진다(연쇄 법칙) | 앞쪽 값의 기울기는 지나온 칸들의 자기 기울기를 모두 곱한 것이다 |
| 갈래가 합쳐지면 더한다 | 한 값이 여러 곳에 쓰이면 각 길로 돌아온 기울기의 합이 그 값의 기울기다 |
| 앞으로 한 번, 뒤로 한 번이면 모든 기울기가 나온다 | 가중치가 많아도 스텝마다 드는 계산은 순전파의 몇 배 안쪽이다 |
| 순전파의 값을 기억해 둬야 한다 | 자기 기울기를 셈할 때 그 값이 필요하다. 그래서 학습은 답만 내는 것보다 메모리를 많이 쓴다 |
| 역전파는 기울기만 구한다 | 얼마나 고칠지는 학습률이 정한다. 고치는 일은 경사 하강법이 한다 |
9. 자동 미분: 직접 짜지 않는다
실제로는 역전파를 손으로 짜지 않습니다. PyTorch 같은 도구는 순전파를 하는 동안 계산 그래프를 기록해 두고, loss.backward() 를 부르면 이 쪽의 실험처럼 뒤에서 앞으로 기울기를 셈해 가중치마다 .grad 에 넣습니다. 이것을 자동 미분(역방향 모드)이라고 부릅니다. 아래는 5절의 손 예제를 그대로 옮긴 것입니다.
import torch
x, y = torch.tensor(2.0), torch.tensor(1.0) # 자료
w = torch.tensor(0.5, requires_grad=True) # 고칠 가중치
b = torch.tensor(-1.0, requires_grad=True)
loss = (torch.sigmoid(w * x + b) - y) ** 2 # 순전파. 계산 그래프가 기록된다
loss.backward() # 역전파
print(w.grad, b.grad) # -0.5 와 -0.25. 5절과 같다
with torch.no_grad(): # 가중치 고치기(학습률 1)
w -= 1.0 * w.grad
b -= 1.0 * b.grad
w.grad.zero_() # 기울기는 더해지므로 다음 스텝 전에 지운다
b.grad.zero_()
실제 코드에서는 마지막 다섯 줄 대신 optimizer.step() 과 optimizer.zero_grad() 를 부릅니다. 또 자료 하나가 아니라 여러 개(예: 32개)를 묶어 손실의 평균을 내고, 그 평균의 기울기로 한 스텝을 갑니다. 이 묶음을 미니배치라고 부릅니다.
구한 기울기로 어떻게 걸어 내려가는지(학습률, 모멘텀, Adam)는 다음 주제 경사 하강법에 있습니다.
어디에 쓰나
- 신경망 학습. 사진 분류, 번역, 음성 인식, 대형 언어 모델처럼 신경망을 학습시키는 곳은 거의 모두 역전파로 기울기를 구합니다.
- 입력이 답에 미친 정도 보기. 가중치 대신 입력(사진의 픽셀)으로 기울기를 구하면, 어느 픽셀을 조금 바꿀 때 답이 크게 바뀌는지 보입니다. 모델이 사진의 어디를 보고 판단했는지 살필 때 씁니다.
- 신경망 밖. 미분할 수 있는 계산이면 어디든 같은 방법을 씁니다. 물리 시뮬레이션의 숫자를 측정값에 맞추는 일이 그 예입니다. 공학과 기상 분야에서는 같은 생각을 수반(adjoint) 방법이라고 부릅니다.
자주 묻는 것
역전파와 경사 하강법은 무엇이 다른가요?
역전파는 가중치마다 기울기를 구하는 방법이고, 경사 하강법은 그 기울기를 보고 가중치를 고치는 방법입니다. 학습은 둘을 번갈아 되풀이합니다.
왜 뒤에서부터 셈하나요?
손실은 하나이고 가중치는 많기 때문입니다. 손실에서 출발해 한 번 거꾸로 가면 모든 가중치가 자기 기울기를 받습니다. 앞에서 출발하면 가중치마다 따로 한 번씩 가야 합니다.
수치 미분과 무엇이 다른가요?
수치 미분은 가중치를 하나씩 조금 흔들어 손실이 얼마나 바뀌는지 재는 방법입니다. 가중치 수만큼 계산을 다시 해야 하고, 값도 어림값입니다. 역전파는 한 번에 정확한 값을 줍니다. 수치 미분은 역전파 코드가 맞는지 검산할 때 씁니다.
기울기가 0 이면 어떻게 되나요?
그 가중치는 그 스텝에서 바뀌지 않습니다. 렐루가 0 을 내는 곳이나 시그모이드가 0 또는 1 에 붙은 곳을 지나면, 뒤에서 온 기울기에 0 이나 0 에 가까운 수가 곱해져 그 앞의 가중치들이 거의 배우지 못합니다.
PyTorch 에서 zero_grad() 는 왜 부르나요?
backward() 는 구한 기울기를 .grad 에 덮어쓰지 않고 더합니다. 그래서 스텝마다 지우지 않으면 앞 스텝의 기울기가 계속 쌓입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 틀린 정도 | 손실(loss), 비용(cost), 목적 함수(objective function) |
| 곱하는 수 w, 더하는 수 b | 가중치(weight), 편향(bias). 둘을 묶어 매개변수(parameter) |
| 동그라미·네모·화살표 그림 | 계산 그래프(computational graph) |
| 앞에서 뒤로 값 셈하기 | 순전파(forward pass, forward propagation) |
| 뒤에서 앞으로 기울기 넘기기 | 역전파(backpropagation, backward pass) |
| 기울기 ∂L/∂w | 편미분(partial derivative). 가중치 전부의 것을 모으면 그래디언트(gradient) |
| 칸의 자기 기울기 | 국소 기울기(local gradient) |
| 뒤에서 온 기울기 | 상류 기울기(upstream gradient) |
| 곱으로 이어 붙이기 | 연쇄 법칙(chain rule) |
| 한 번에 고치는 크기 | 학습률(learning rate) |
| 하나씩 흔들어 재기 | 수치 미분(numerical differentiation), 유한 차분(finite difference) |
| 기울기가 사라짐 / 터짐 | 기울기 소실(vanishing gradient) / 기울기 폭발(exploding gradient) |
| 시그모이드 σ | 시그모이드(sigmoid), 로지스틱 함수(logistic function) |
| 렐루 | ReLU(rectified linear unit) |
| 지름길 연결 | 잔차 연결(residual connection), 건너뛰기 연결(skip connection) |
| 기울기 자르기 | gradient clipping |
| 컴퓨터가 알아서 하는 역전파 | 자동 미분(automatic differentiation), 역방향 모드(reverse mode) |
| 여러 자료를 묶은 것 | 미니배치(mini-batch) |
출처
- Rumelhart, Hinton, Williams (1986). Learning representations by back-propagating errors. Nature 323, 533–536. 역전파를 널리 알린 논문입니다.
- Bengio, Simard, Frasconi (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks 5(2). 기울기 소실.
- Pascanu, Mikolov, Bengio (2012). On the difficulty of training Recurrent Neural Networks. 기울기 폭발과 기울기 자르기.
- Glorot, Bordes, Bengio (2011). Deep Sparse Rectifier Neural Networks. ReLU.
- He, Zhang, Ren, Sun (2015). Deep Residual Learning for Image Recognition. 잔차 연결.
- Ioffe, Szegedy (2015). Batch Normalization. Ba, Kiros, Hinton (2016). Layer Normalization.
- Baydin, Pearlmutter, Radul, Siskind. Automatic differentiation in machine learning: a survey.
- PyTorch 문서: torch.autograd, A Gentle Introduction to torch.autograd.