역전파: 신경망이 배우는 방법

신경망은 틀린 만큼 가중치를 고쳐서 배웁니다. 그런데 가중치가 수백만 개라면, 어느 것을 어느 쪽으로 얼마나 고쳐야 할까요? 역전파가 그것을 한 번에 셈합니다. 아래 그림에서 한 칸씩 따라가 보세요.

한 줄 답. 역전파는 「가중치 하나하나를 조금 바꾸면 틀린 정도(손실)가 얼마나 바뀌는가」(기울기)를 한 번에 셈하는 방법입니다. 먼저 계산을 앞에서 뒤로 한 번 하고(순전파), 손실에서 출발해 뒤에서 앞으로 칸마다 기울기를 곱해 넘겨줍니다(연쇄 법칙). 그렇게 구한 기울기의 반대쪽으로 가중치를 조금 고칩니다.

동그라미는 값, 네모는 계산입니다. 동그라미 위의 초록 숫자(= …)가 값, 아래의 주황 숫자(기울기 …)가 기울기입니다. 굵은 파란 테두리는 고칠 가중치, 점선 테두리는 주어진 자료입니다. 초록 실선 화살표(→)는 값이 앞으로 간 길, 주황 점선 화살표(←)는 기울기가 거꾸로 돌아온 길입니다. 「지금 계산 ▾」 이름표가 붙은 칸이 이번 단계에서 셈하는 칸이고, 그림 맨 아래에 그 셈이 실제 숫자로 나옵니다(역전파는 기울기 = 뒤에서 온 기울기 × 이 칸의 미분). 숫자는 세 자리로 반올림해 보입니다.

칸받는 값자기 기울기× 뒤에서 온 기울기= 넘겨줄 기울기
학습률

막대나 숫자 칸으로 처음 값을 바꾸면 그 자리에서 다시 셈합니다. 「가중치 고치기」는 역전파가 끝나야 눌리고, 누를 때마다 손실 그래프에 점이 하나 늘어납니다. 예 단추를 다시 누르면 처음 숫자로 돌아갑니다. 이 그래프는 손으로 따라갈 수 있게 작게 줄인 본보기입니다. 진짜 신경망은 같은 칸이 수백만 개 이어져 있고, 자료 하나 대신 여러 개를 한꺼번에 넣습니다.

1. 왜 필요한가: 하나씩 흔들어 볼 수 없다

학습은 손실을 줄이는 일입니다. 손실은 신경망의 답이 정답과 얼마나 다른지를 숫자 하나로 적은 것입니다. 손실을 줄이려면 가중치마다 「조금 올리면 손실이 늘어나나 줄어드나, 얼마나 빨리」를 알아야 합니다. 이것이 그 가중치의 기울기입니다. 기울기가 음수면 올려야 하고, 양수면 내려야 합니다.

가장 쉬운 방법은 하나씩 흔들어 보는 것입니다. w 를 0.0001 만큼 올려 계산을 처음부터 다시 하고, 손실이 얼마나 바뀌었는지 봅니다. 가중치가 셋이면 계산을 세 번 더 하면 됩니다. 그런데 가중치가 100만 개면 한 스텝(step, 가중치를 한 번 고치는 일)을 가려고 계산을 100만 번 넘게 더 해야 합니다.

방법가중치가 n 개일 때 한 스텝에 드는 계산
하나씩 흔들기(수치 미분)순전파 n 번 더. 양쪽으로 흔들면 2n 번
역전파순전파 한 번 + 역전파 한 번. 역전파는 칸마다 곱셈 몇 번이라, 순전파의 몇 배 안쪽이다

역전파는 n 이 커져도 계산이 n 배로 늘지 않습니다. 그래서 큰 신경망을 학습시킬 수 있습니다.

2. 계산 그래프 읽기

신경망의 계산은 작은 계산을 이어 붙인 것입니다. 실험의 기본 예 「뉴런 하나」는 이렇습니다. 신경망의 뉴런 하나와 같은 꼴입니다(신경망).

z = w·x + b      입력 x 에 가중치 w 를 곱하고 편향 b 를 더한다
a = σ(z)         시그모이드: 어떤 수든 0 과 1 사이로 누른다
L = (a − y)²     손실: 답 a 가 정답 y 와 얼마나 다른가

시그모이드는 σ(z) = 1 ÷ (1 + e^(−z)) 입니다. z 가 0 이면 0.5, 크면 1 에 가깝고, 아주 작으면 0 에 가깝습니다.

그림에서 동그라미가 값, 네모가 계산, 화살표가 「이 값이 저 계산에 들어간다」입니다. x 와 y 는 주어진 자료(점선 테두리)이고, w 와 b 가 고칠 가중치(파란 테두리)입니다. 처음에는 x, w, b, y 만 압니다.

해 볼 것. ① 「다음 단계」를 세 번 누르면 초록 숫자가 왼쪽부터 채워집니다. z = 0, a = 0.5, L = 0.25. ② 네 번 더 누르면 주황 숫자가 오른쪽부터 채워지고 ∂L/∂w = −0.5, ∂L/∂b = −0.25 가 나옵니다. ③ 「가중치 고치기」를 누르면 손실이 0.25 에서 0.0496 으로 줄어듭니다. 모두 다섯 번 누르면 0.0111 까지 내려가고, 아래 작은 그래프에 내려가는 선이 그려집니다.

3. 연쇄 법칙: 기울기는 곱으로 이어진다

기울기(미분)는 「입력을 조금 바꾸면 출력이 몇 배만큼 바뀌나」입니다(미분). 예를 들어 a = σ(z) 의 기울기는 z = 0 에서 0.25 입니다. z 를 0.01 올리면 a 는 약 0.0025 오릅니다.

계산이 이어져 있으면 배수가 곱해집니다. z 가 a 를 0.25 배로 움직이고 a 가 L 을 −1 배로 움직이면, z 는 L 을 0.25 × (−1) = −0.25 배로 움직입니다. 이것이 연쇄 법칙입니다.

∂L/∂z = ∂L/∂a × ∂a/∂z

∂L/∂z 는 「z 하나만 조금 바꿀 때 L 이 바뀌는 비율」이라고 읽습니다. ∂ 는 「다른 값은 그대로 두고 이것 하나만 바꾼다」는 표시입니다. 그래서 w 의 기울기는 w 에서 L 까지 가는 길의 배수를 모두 곱한 것입니다.

∂L/∂w = ∂L/∂a × ∂a/∂z × ∂z/∂w = 2(a − y) × a(1 − a) × x

이 식이 왜 곱인지는 이 절 다음의 식이 만들어지는 과정에서 w 를 조금 흔들어 보며 한 단계씩 조립합니다.

역전파는 이 곱을 오른쪽부터 셉니다. 오른쪽 끝(∂L/∂L = 1)에서 출발해, 칸을 하나 지날 때마다 그 칸의 자기 기울기를 곱합니다. 그러면 ∂L/∂a, ∂L/∂z 가 차례로 나오고, z 에서 w 와 b 가 동시에 받습니다. w 와 b 는 앞부분의 곱(∂L/∂z)을 같이 씁니다. 이렇게 겹치는 곱을 한 번만 셈하는 것이 역전파가 빠른 까닭입니다.

식이 만들어지는 과정: 연쇄 법칙의 곱

3절의 식 ∂L/∂w = ∂L/∂a × ∂a/∂z × ∂z/∂w 가 왜 곱인지, w 를 아주 조금 흔들어 보며 조립합니다. w 가 흔들리면 z 가 흔들리고, 그 흔들림이 a 를, 다시 L 을 흔듭니다. 칸마다 흔들림이 몇 배가 되어 넘어가는지 재서 이어 붙이면 식이 됩니다. 숫자는 실험의 기본 예 그대로입니다(x = 2, w = 0.5, b = −1, y = 1 이라 z = 0, a = 0.5, L = 0.25). Δw 는 「w 가 바뀐 양」이라고 읽습니다(Δ 는 그리스 글자 델타).

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 값마다 바뀐 양만큼 자라고, 그림 옆에 까닭이 나옵니다. 막대는 Δw = 0.001 을 한 칸(맨 아래 자)으로 잰 길이라 아주 작은 변화도 보입니다. 파란 막대는 w, 초록 막대는 z, a, L 이 바뀐 양이고, 오른쪽은 늘어남, 왼쪽은 줄어듦입니다. 주황 글자는 칸마다의 배수입니다. 이 그림의 숫자는 기본 예로 고정되어 있습니다.

  1. z 칸: ∂z/∂w = x. w 를 Δw = 0.001 만큼 키웁니다. z = w·x + b 에서 x 와 b 는 그대로이니 z 는 (w + Δw)·x + b − (w·x + b) = x·Δw, 곧 2 × 0.001 = 0.002 만큼 바뀝니다. 남는 조각 없이 딱 x 배입니다. 이 배수가 ∂z/∂w 입니다.
  2. a 칸: ∂a/∂z = a(1 − a). z 가 0 에서 0.002 로 가면 a = σ(z) 는 0.5 에서 0.5005 로, 0.0005 만큼 바뀝니다. 0.002 의 0.25 배입니다. 시그모이드는 휘어 있어서 배수가 자리마다 다른데, 이 자리의 배수(기울기)가 a(1 − a) = 0.5 × 0.5 = 0.25 입니다. 시그모이드의 기울기가 왜 a(1 − a) 인지는 여기서 증명하지 않습니다. 휘어 있으니 딱 0.25 배는 아니지만, Δz 가 작을수록 0.25 배에 가까워집니다.
  3. L 칸: ∂L/∂a = 2(a − y). a 가 Δa 만큼 바뀌면 L 은 (a + Δa − y)² − (a − y)² = 2(a − y)·Δa + Δa² 만큼 바뀝니다. Δa 가 작으면 Δa² 는 훨씬 더 작으니(0.0005² = 0.00000025) 버리면, 배수는 2(a − y) = 2 × (0.5 − 1) = −1 이고 ΔL ≈ −1 × 0.0005 = −0.0005 입니다. 배수가 음수라 a 가 오르면 L 은 내려갑니다.
  4. 이어 곱하기: ∂L/∂w = ∂L/∂a × ∂a/∂z × ∂z/∂w. 앞의 셋을 차례로 넣으면 ΔL ≈ 2(a − y) × Δa ≈ 2(a − y) × a(1 − a) × Δz = 2(a − y) × a(1 − a) × x × Δw 입니다. 양쪽을 Δw 로 나누면 「w 를 1 바꿀 때 L 이 바뀌는 비율」이 세 배수의 곱으로 나옵니다: (−1) × 0.25 × 2 = −0.5. 흔들림은 칸을 지날 때마다 그 칸의 배수만큼 커지거나 줄어든 채로 다음 칸에 들어가므로, 배수는 더해지지 않고 곱해집니다. Δw 를 0 에 가깝게 줄이면 ≈ 가 = 가 됩니다. 이것이 연쇄 법칙이고, 엄밀한 증명은 여기서 하지 않습니다.
  5. 흔들어 재 보기: ≈ ΔL ÷ Δw. 정말 그런지 1절의 방법(하나씩 흔들기)으로 잽니다. w 를 0.501 로 바꿔 처음부터 다시 셈하면 z = 0.002, a = 0.5005, L = 0.24950025 입니다. ΔL = −0.00049975 이고, Δw = 0.001 로 나누면 −0.49975 입니다. 곱으로 구한 −0.5 와 0.00025 다릅니다. 이 차이는 거의 모두 3번에서 버린 Δa² 를 Δw 로 나눈 것입니다(0.00000025 ÷ 0.001). Δw 를 0.0001 로 줄이면 −0.499975, 차이도 10분의 1(0.000025)이 됩니다.
  6. 완성: ∂L/∂w = 2(a − y) × a(1 − a) × x. 기본 예에서 −0.5 로, 5절의 손 계산과 실험의 역전파가 구한 값과 같습니다. w 대신 b 를 흔들면 z 가 Δb 만큼 그대로 바뀌므로(∂z/∂b = 1) 마지막 배수만 1 로 바뀝니다: ∂L/∂b = 2(a − y) × a(1 − a) × 1 = −0.25.

4. 절차: 순전파 한 번, 역전파 한 번

  1. 순전파. 왼쪽에서 오른쪽으로 칸마다 값을 셈하고 기억해 둡니다. 역전파 때 다시 씁니다(σ 칸은 a 가, 곱하는 칸은 x 가 필요합니다).
  2. 출발. 손실의 기울기를 1 로 둡니다. L 을 L 로 미분하면 1 입니다.
  3. 역전파. 오른쪽에서 왼쪽으로, 칸마다 넘겨줄 기울기 = 자기 기울기 × 뒤에서 온 기울기 를 셈해 그 칸의 입력에 넘겨줍니다.
  4. 더하기. 한 값이 여러 칸에 쓰였으면 받은 기울기를 모두 더합니다(6절).
  5. 고치기. 가중치마다 w ← w − 학습률 × ∂L/∂w. 이것은 경사 하강법의 일입니다.

칸마다 자기 기울기는 미리 정해져 있습니다. 실험에 나오는 칸은 이것이 전부입니다.

칸계산자기 기울기
곱하고 더하기z = w·x + b∂z/∂w = x, ∂z/∂b = 1, ∂z/∂x = w
시그모이드 σa = σ(z)a(1 − a). 많아야 0.25(a = 0.5 일 때)
렐루h = relu(z) = max(0, z)z 가 0 보다 크면 1, 아니면 0
제곱 오차L = (a − y)²∂L/∂a = 2(a − y)
곱u·v상대편 값. u 쪽은 v, v 쪽은 u
더하기w + 11. 받은 기울기를 그대로 넘긴다

5. 손으로 따라가기

실험의 처음 숫자 그대로입니다. x = 2, w = 0.5, b = −1, y = 1, 학습률(learning rate, 한 번에 고치는 크기) 1. 실험에서 「다음 단계」를 누를 때마다 나오는 숫자와 같습니다.

단계셈결과
순전파 1z = 0.5 × 2 + (−1)0
순전파 2a = σ(0)0.5
순전파 3L = (0.5 − 1)²0.25
역전파 출발∂L/∂L1
역전파 1: 손실 칸∂L/∂a = 2(a − y) × 1 = 2 × (0.5 − 1) × 1−1
역전파 2: σ 칸∂L/∂z = a(1 − a) × ∂L/∂a = 0.25 × (−1)−0.25
역전파 3: 곱하고 더하기 칸∂L/∂w = x × ∂L/∂z = 2 × (−0.25)
∂L/∂b = 1 × ∂L/∂z
−0.5
−0.25
고치기w ← 0.5 − 1 × (−0.5)
b ← −1 − 1 × (−0.25)
1
−0.75
다시 순전파z = 1 × 2 + (−0.75) = 1.25, a = σ(1.25) ≈ 0.7773, L = (0.7773 − 1)²약 0.0496

손실이 0.25 에서 약 0.0496 으로 줄었습니다. ∂L/∂w 가 음수(−0.5)라는 것은 「w 를 올리면 손실이 준다」는 뜻이라 w 를 올렸습니다. x 와 y 는 자료라서 기울기를 셈하지 않았습니다. 자료는 고치지 않기 때문입니다.

6. 갈래가 합쳐지면 더한다

한 값이 두 곳에 쓰이면, 그 값을 조금 바꿀 때 두 길로 동시에 손실이 바뀝니다. 그래서 두 길로 돌아온 기울기를 더합니다.

실험의 「두 갈래」 예는 L = (w·x)·(w + 1) 입니다. w 가 u = w·x 와 v = w + 1 두 곳에 들어갑니다. 신경망의 손실은 아니고, 더하는 규칙만 보려고 만든 작은 식입니다. x = 3, w = 1 이면 u = 3, v = 2, L = 6 입니다.

길셈w 가 받는 것
v 쪽(+ 1 칸)∂L/∂v = u = 3, ∂v/∂w = 11 × 3 = 3
u 쪽(× 칸)∂L/∂u = v = 2, ∂u/∂w = x = 33 × 2 = 6
합3 + 6 = 9

검산: L = 3w² + 3w 이므로 기울기는 6w + 3, w = 1 에서 9 입니다. 신경망에서는 흔한 일입니다. 한 뉴런의 출력이 다음 겹의 여러 뉴런에 들어가고, 한 가중치가 여러 자료에 같이 쓰입니다.

해 볼 것. ① 「두 갈래」를 고르고 「다음 단계」를 끝까지 누르세요. w 아래에 먼저 3 이 적히고(+ 1 칸에서 온 것), 마지막 단계에서 6 이 더해져 9 가 됩니다. ② w 를 2 로 바꾸면 L = 18, w 의 기울기는 6 + 9 = 15 입니다. ③ 이 식은 L 이 음수도 될 수 있습니다. 「가중치 고치기」를 되풀이하면 w 는 −0.5 로, L 은 −0.75 로 갑니다.

7. 겹이 많아지면: 기울기가 사라지거나 터진다

「두 겹」 예는 h = relu(w₁·x + b₁), a = w₂·h + b₂, L = (a − y)² 입니다. 앞 겹의 기울기는 뒤 겹을 모두 지나온 곱입니다.

∂L/∂w₁ = 2(a − y) × w₂ × (z₁ > 0 ? 1 : 0) × x

처음 숫자(x = 2, w₁ = 0.5, b₁ = 0.5, w₂ = 1, b₂ = −1, y = 1.5)에서는 (−2) × 1 × 1 × 2 = −4 입니다.

겹이 열 개, 백 개가 되면 이 곱이 아주 길어집니다. 곱하는 수가 대부분 1 보다 작으면 곱은 0 에 가까워집니다. 이것이 기울기 소실입니다. 앞쪽 겹의 가중치는 거의 바뀌지 않아 배우지 못합니다. 시그모이드의 자기 기울기는 많아야 0.25 라서, 시그모이드를 열 번 지나면 다른 것을 빼고도 0.25¹⁰ ≈ 0.00000095 입니다. 반대로 곱하는 수가 대부분 1 보다 크면 곱이 아주 커집니다. 이것이 기울기 폭발입니다. 2 를 50 번 곱하면 1,000조가 넘습니다. 스텝이 너무 커져 가중치가 엉뚱한 곳으로 튑니다.

흔한 대책하는 일
ReLU(렐루)양수 쪽 자기 기울기가 1 이라 곱해도 줄지 않는다. 대신 음수 쪽은 0 이라 그 길은 끊긴다
잔차 연결출력 = 입력 + 계산(입력). 더하기 칸은 기울기를 그대로 넘기므로 곱을 거치지 않는 지름길이 생긴다
정규화겹마다 값을 고른 크기로 맞춰, 곱하는 수가 너무 크거나 작아지지 않게 한다(배치 정규화, 층 정규화)
기울기 자르기기울기의 크기가 정한 값을 넘으면 그 크기로 줄인다. 폭발을 막는다

해 볼 것. ① 「뉴런 하나」에서 y 를 0, w 를 3 으로 바꾸고 「끝까지 한 번에」를 누르세요. a = 0.993 이라 정답 0 과 멀어 손실이 0.987 인데, ∂L/∂w 는 0.0264 뿐입니다. 처음(손실 0.25, 기울기 −0.5)보다 틀린 정도는 약 4배인데 기울기는 약 19분의 1 입니다. σ 칸의 자기 기울기가 0.00665 라서입니다. ② 「두 겹」에서 b₁ 을 −2 로 바꾸고 「끝까지 한 번에」를 누르세요. z₁ = −1 이라 렐루가 0 을 내고 자기 기울기도 0 입니다. w₁, b₁ 의 기울기가 0 이 되고, h = 0 이라 w₂ 의 기울기도 0 입니다. 「가중치 고치기」를 누르면 b₂ 만 바뀝니다(손실 6.25 → 5.06).

8. 꼭 알아야 할 성질

성질쉬운 말
기울기는 곱으로 이어진다(연쇄 법칙)앞쪽 값의 기울기는 지나온 칸들의 자기 기울기를 모두 곱한 것이다
갈래가 합쳐지면 더한다한 값이 여러 곳에 쓰이면 각 길로 돌아온 기울기의 합이 그 값의 기울기다
앞으로 한 번, 뒤로 한 번이면 모든 기울기가 나온다가중치가 많아도 스텝마다 드는 계산은 순전파의 몇 배 안쪽이다
순전파의 값을 기억해 둬야 한다자기 기울기를 셈할 때 그 값이 필요하다. 그래서 학습은 답만 내는 것보다 메모리를 많이 쓴다
역전파는 기울기만 구한다얼마나 고칠지는 학습률이 정한다. 고치는 일은 경사 하강법이 한다

9. 자동 미분: 직접 짜지 않는다

실제로는 역전파를 손으로 짜지 않습니다. PyTorch 같은 도구는 순전파를 하는 동안 계산 그래프를 기록해 두고, loss.backward() 를 부르면 이 쪽의 실험처럼 뒤에서 앞으로 기울기를 셈해 가중치마다 .grad 에 넣습니다. 이것을 자동 미분(역방향 모드)이라고 부릅니다. 아래는 5절의 손 예제를 그대로 옮긴 것입니다.

import torch

x, y = torch.tensor(2.0), torch.tensor(1.0)      # 자료
w = torch.tensor(0.5, requires_grad=True)        # 고칠 가중치
b = torch.tensor(-1.0, requires_grad=True)

loss = (torch.sigmoid(w * x + b) - y) ** 2       # 순전파. 계산 그래프가 기록된다
loss.backward()                                  # 역전파
print(w.grad, b.grad)                            # -0.5 와 -0.25. 5절과 같다

with torch.no_grad():                            # 가중치 고치기(학습률 1)
    w -= 1.0 * w.grad
    b -= 1.0 * b.grad
w.grad.zero_()                                   # 기울기는 더해지므로 다음 스텝 전에 지운다
b.grad.zero_()

실제 코드에서는 마지막 다섯 줄 대신 optimizer.step() 과 optimizer.zero_grad() 를 부릅니다. 또 자료 하나가 아니라 여러 개(예: 32개)를 묶어 손실의 평균을 내고, 그 평균의 기울기로 한 스텝을 갑니다. 이 묶음을 미니배치라고 부릅니다.

구한 기울기로 어떻게 걸어 내려가는지(학습률, 모멘텀, Adam)는 다음 주제 경사 하강법에 있습니다.

어디에 쓰나

자주 묻는 것

역전파와 경사 하강법은 무엇이 다른가요?

역전파는 가중치마다 기울기를 구하는 방법이고, 경사 하강법은 그 기울기를 보고 가중치를 고치는 방법입니다. 학습은 둘을 번갈아 되풀이합니다.

왜 뒤에서부터 셈하나요?

손실은 하나이고 가중치는 많기 때문입니다. 손실에서 출발해 한 번 거꾸로 가면 모든 가중치가 자기 기울기를 받습니다. 앞에서 출발하면 가중치마다 따로 한 번씩 가야 합니다.

수치 미분과 무엇이 다른가요?

수치 미분은 가중치를 하나씩 조금 흔들어 손실이 얼마나 바뀌는지 재는 방법입니다. 가중치 수만큼 계산을 다시 해야 하고, 값도 어림값입니다. 역전파는 한 번에 정확한 값을 줍니다. 수치 미분은 역전파 코드가 맞는지 검산할 때 씁니다.

기울기가 0 이면 어떻게 되나요?

그 가중치는 그 스텝에서 바뀌지 않습니다. 렐루가 0 을 내는 곳이나 시그모이드가 0 또는 1 에 붙은 곳을 지나면, 뒤에서 온 기울기에 0 이나 0 에 가까운 수가 곱해져 그 앞의 가중치들이 거의 배우지 못합니다.

PyTorch 에서 zero_grad() 는 왜 부르나요?

backward() 는 구한 기울기를 .grad 에 덮어쓰지 않고 더합니다. 그래서 스텝마다 지우지 않으면 앞 스텝의 기울기가 계속 쌓입니다.

낱말

여기서 쓴 말책에서 부르는 말
틀린 정도손실(loss), 비용(cost), 목적 함수(objective function)
곱하는 수 w, 더하는 수 b가중치(weight), 편향(bias). 둘을 묶어 매개변수(parameter)
동그라미·네모·화살표 그림계산 그래프(computational graph)
앞에서 뒤로 값 셈하기순전파(forward pass, forward propagation)
뒤에서 앞으로 기울기 넘기기역전파(backpropagation, backward pass)
기울기 ∂L/∂w편미분(partial derivative). 가중치 전부의 것을 모으면 그래디언트(gradient)
칸의 자기 기울기국소 기울기(local gradient)
뒤에서 온 기울기상류 기울기(upstream gradient)
곱으로 이어 붙이기연쇄 법칙(chain rule)
한 번에 고치는 크기학습률(learning rate)
하나씩 흔들어 재기수치 미분(numerical differentiation), 유한 차분(finite difference)
기울기가 사라짐 / 터짐기울기 소실(vanishing gradient) / 기울기 폭발(exploding gradient)
시그모이드 σ시그모이드(sigmoid), 로지스틱 함수(logistic function)
렐루ReLU(rectified linear unit)
지름길 연결잔차 연결(residual connection), 건너뛰기 연결(skip connection)
기울기 자르기gradient clipping
컴퓨터가 알아서 하는 역전파자동 미분(automatic differentiation), 역방향 모드(reverse mode)
여러 자료를 묶은 것미니배치(mini-batch)

출처

← 신경망경사 하강법 →