경사 하강법, 그림으로 이해하기

모멘텀, 네스테로프(NAG), AdaGrad, RMSProp, Adam. 이름은 어렵지만 모두 「공을 내리막으로 굴려 바닥을 찾는 법」입니다. 수식을 몰라도 됩니다. 직접 굴려 보세요.

한 줄 답. 경사 하강법은 지금 자리의 기울기를 보고 내리막 쪽으로 한 스텝(step)씩 가는 방법입니다. 나머지 다섯은 여기에 두 가지를 더한 것입니다. 모멘텀(모멘텀, 네스테로프)과 방향마다 다른 학습률(learning rate, 한 번에 가는 크기)(AdaGrad, RMSProp). Adam 은 둘을 합친 것입니다.

1. 함수 그래프와 기울기

함수는 「x 를 넣으면 높이가 하나 나오는 규칙」입니다. 그 높이를 왼쪽에서 오른쪽으로 이어 그린 선이 그래프입니다.

기울기는 그 자리에서 선이 얼마나 가파른지입니다. +면 오른쪽이 오르막, −면 오른쪽이 내리막, 0이면 평평한 곳(바닥이나 꼭대기)입니다. 기울기를 구하는 일을 「미분」이라고 부릅니다.

주황 선·화살표: 공 자리의 기울기와 그것이 가리키는 오르막 쪽 · 파란 화살표: 다음 스텝(반대쪽으로, 학습률 × 기울기만큼)과 그 셈 · 회색 점과 선: 지나온 자리

그래프 위에 마우스를 올리면 그 자리의 기울기가 보입니다. 누르면 공이 놓입니다.

직접 쓸 수 있는 것: 숫자, x, + − * / ^, 괄호, sin cos tan exp log sqrt abs pi. 예: 2x^2-3, sin(2x)/x

공을 내리막으로 굴리기: 경사 하강법

공은 그래프 전체를 보지 못합니다. 지금 선 자리의 기울기만 압니다. 그래서 기울기의 반대쪽으로 한 스텝 갑니다. 가파르면 크게, 완만하면 작게. 이것을 되풀이하면 바닥에 닿습니다. 그래프를 눌러 공을 놓고 「한 스텝」을 눌러 보세요. 파란 화살표가 다음 스텝입니다.

해 볼 것. ① x² 에서 학습률을 1.1 로 올리면 공이 바닥을 건너뛰며 점점 멀어집니다. ② 「골짜기 둘」에서 오른쪽에 공을 놓으면 얕은 골짜기에 멈춥니다. 더 깊은 곳이 있어도 공은 모릅니다.

2. 모멘텀을 더하면: 모멘텀과 네스테로프

이번에는 땅이 길쭉한 그릇 모양입니다. 좁은 쪽은 가파르고 긴 쪽은 완만합니다. 가운데 흰 동그라미가 바닥입니다. 세 공이 같은 자리에서 출발합니다.

방법하는 일비유
경사 하강지금 자리의 기울기만 보고 한 스텝매 걸음 멈췄다 다시 걷는 사람
모멘텀앞에서 오던 속도를 남겨 두고, 거기에 기울기를 더한다굴러가는 공. 빠르지만 바닥을 지나쳐 출렁인다
네스테로프속도대로 먼저 가 본 자리의 기울기를 보고 고친다앞을 보고 미리 브레이크를 밟는 공

땅을 누르면 그 자리에서 다시 출발합니다. 「위에서 보기」를 누르면 지도처럼 보입니다. 띠 하나가 같은 높이입니다(등고선).

방법스텝지금 높이결과

해 볼 것. ① 처음 값 그대로면 경사 하강 216스텝, 모멘텀 78스텝, 네스테로프 38스텝에 닿습니다. ② 모멘텀을 0 으로 내리면 세 공이 똑같이 갑니다. ③ 모멘텀을 0.97 로 올리면 모멘텀은 크게 출렁여 오히려 늦어지고(231스텝), 네스테로프는 덜 출렁입니다(79스텝). ④ 학습률을 끝(0.22)까지 올리면 경사 하강과 네스테로프는 튕겨 나갑니다. 모멘텀은 크게 출렁이면서도 75스텝에 닿습니다.

네스테로프가 모멘텀과 다른 점 하나

오던 속도 지금 자리의 기울기 실제 스텝
모멘텀. 지금 자리에서 기울기를 재고, 오던 속도에 더합니다.
먼저 가 본 자리 거기의 기울기 실제 스텝
네스테로프. 속도대로 먼저 가 본 자리에서 기울기를 잽니다. 지나칠 것 같으면 거기서 되돌리는 기울기가 나와 스텝이 짧아집니다.

식이 만들어지는 과정: 경사 하강에서 네스테로프까지

위 실험의 세 방법은 한 식에 조각을 하나씩 붙여 만든 것입니다. 같은 길쭉한 그릇, 같은 출발점 (−3.5, 2) 에서 조각을 하나씩 붙이며 길이 어떻게 바뀌는지 봅니다. 자리는 (가로, 세로) 두 숫자이고, 식에서는 둘을 묶어 x 로 적습니다. 그릇의 높이는 f = 0.5 × (가로² + 10 × 세로²) 입니다. ∇f(x) 는 방향마다 따로 잰 기울기를 묶은 화살표(그래디언트)이고, 늘 가장 가파른 오르막을 가리킵니다. 이 그릇에서는 ∇f = (가로, 10 × 세로) 입니다. 4절 표의 g 가 이 ∇f(x) 입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그 식으로 간 길이 그려지고, 아래에 까닭이 나옵니다. 앞 단계의 길은 흐리게 남습니다. 땅은 위 실험의 「길쭉한 그릇」을 바로 위에서 본 지도입니다. 주황은 경사 하강, 파랑은 모멘텀, 보라는 네스테로프입니다. 학습률 η 와 모멘텀 μ 는 위 실험의 처음 값(0.02, 0.9)입니다.

  1. 기울기만큼 내려가기: x ← x − ∇f(x). 기울기는 오르막 쪽을 가리키므로, 빼면 내리막으로 갑니다. 출발점의 기울기는 (−3.5, 20) 입니다. 그대로 빼면 (−3.5, 2) − (−3.5, 20) = (0, −18) 로 가서 그림 밖으로 나가고, 높이는 26.13 에서 1620 으로 오히려 커집니다. 까닭: 기울기는 얼마나 가파른지이지, 얼마나 가야 하는지가 아닙니다. 세로 쪽은 기울기가 20 인데 바닥까지는 2 뿐입니다.
  2. 학습률 곱하기: x ← x − η·∇f(x). η = 0.02 를 곱해 기울기의 50분의 1 만 갑니다. 첫 스텝은 (0.07, −0.4) 이고, 216스텝에 바닥에 닿습니다. 까닭: 이 그릇에서는 한 스텝에 세로가 남은 거리의 10·η(η = 0.02 면 20%)만큼, 가로가 η(2%)만큼 줄어듭니다. 10·η 가 1 을 넘으면 세로로 바닥을 건너뛰고, 2 를 넘으면 건너뛸 때마다 더 멀어져 튕겨 나갑니다. 그래서 η 는 0.2 보다 작아야 합니다(정확히 0.2 면 세로로 2 와 −2 를 영영 오갑니다). η 가 그만큼 작으니 가로는 스텝마다 2% 만 줄어, 20스텝 뒤 자리가 (−2.34, 0.02) 입니다. 세로는 거의 다 왔는데 가로는 멀었습니다. 학습률 하나로는 가파른 쪽과 완만한 쪽을 같이 맞출 수 없습니다.
  3. 지난 스텝 기억하기(모멘텀): v ← μ·v − η·∇f(x), x ← x + v. v 는 지난 스텝(속도)입니다. 새 스텝은 지난 스텝의 μ = 0.9 배에 ② 의 스텝을 더한 것입니다. μ = 0 이면 v = −η·∇f(x) 라서 ② 와 같은 식입니다(위 실험에서 모멘텀을 0 으로 내리면 세 공이 똑같이 갑니다). 까닭: 완만한 가로 쪽은 기울기가 스텝마다 같은 쪽을 가리켜 스텝이 쌓입니다. 기울기가 그대로라면 스텝은 1 + μ + μ² + … = 1 ÷ (1 − μ), 곧 10배까지 자랍니다. 여기서는 가로 스텝이 0.07 에서 9스텝째 0.32 까지 커져 78스텝에 닿습니다. 대신 쌓인 속도가 남아 바닥을 지나 가로 1.03 까지 갔다가 돌아오고, 골의 가운데 줄(세로 0)을 11번 넘나듭니다.
  4. 먼저 가 본 자리에서 재기(네스테로프): v ← μ·v − η·∇f(x + μ·v), x ← x + v. 바뀐 곳은 기울기를 재는 자리 하나입니다. 지금 자리 x 가 아니라, 남은 속도대로 먼저 가 본 자리 x + μ·v 에서 잽니다. 까닭: 바닥을 지나칠 참이면 먼저 가 본 자리가 바닥 너머에 놓여, 거기의 기울기가 되돌리는 쪽을 가리킵니다. 그래서 지나치기 전에 속도가 줄어듭니다. 바닥을 지나 간 거리가 가로 1.03 에서 0.79 로, 가운데 줄을 넘나든 횟수가 11번에서 6번으로 줄고, 38스텝에 닿습니다. 이것이 완성된 식이고, 4절 표의 셋째 줄입니다.

해 볼 것. ① 처음 단계에서는 주황 점선이 출발점에서 아래로 그림 밖까지 나갑니다. 도착 자리는 (0, −18) 입니다. ② 「다음」을 한 번 누르면 첫 스텝이 ① 의 50분의 1 인 주황 길이 그려집니다. 세로로 먼저 내려온 뒤 가로로 천천히 가서 216스텝에 닿습니다. ③ 한 번 더 누르면 파란 길이 바닥을 지나 가로 1.03 까지 갔다가 돌아옵니다(78스텝). ④ 마지막 단계의 보라 길은 0.79 까지만 지나치고 38스텝에 닿습니다. 흐린 파란 동그라미와 진한 보라 동그라미가 두 길이 가장 멀리 지나친 자리입니다. ⑤ 위 실험에서 학습률을 0.2 로 맞추면 경사 하강은 세로로 영영 오가며 500스텝 안에 못 닿고, 0.21 로 올리면 튕겨 나갑니다.

3. 방향마다 학습률을 다르게: AdaGrad, RMSProp, Adam

위 실험에서 경사 하강이 느린 까닭은 학습률이 하나뿐이어서입니다. 가파른 쪽에 맞추면 완만한 쪽에서는 너무 작고, 완만한 쪽에 맞추면 가파른 쪽에서 튕겨 나갑니다. 아래 셋은 방향마다 학습률을 따로 정합니다(적응적 학습률, adaptive learning rate). 기울기가 컸던 방향은 스텝을 줄이고, 작았던 방향은 스텝을 키웁니다.

방법하는 일약점
AdaGrad방향마다 지금까지 본 기울기 크기를 계속 쌓고, 많이 쌓인 방향은 스텝을 줄인다쌓이기만 해서 스텝이 갈수록 작아지다 멈춘다
RMSProp쌓는 대신 최근 것만 기억한다. 오래된 것은 조금씩 잊는다스텝이 줄지 않아 바닥 근처에서 떨 수 있다
AdamRMSProp 에 모멘텀(모멘텀)을 더했다기억할 것이 둘이라 계산이 조금 더 든다

출발할 때 세 공 모두 바닥 쪽으로 곧장 갑니다. 가파른 쪽과 완만한 쪽의 스텝을 따로 맞추기 때문입니다.

방법스텝지금 높이결과

해 볼 것. ① 학습률을 0.1 로 내리면 AdaGrad 는 500스텝 안에 못 닿습니다. 쌓일수록 스텝이 줄어서입니다. ② 「굽은 골짜기」로 바꾸면(학습률 0.2) RMSProp 은 바닥 근처에서 떨며 멈추지 못하고, Adam 은 닿습니다. ③ 학습률을 1 로 올리면 RMSProp 이 크게 흔들립니다.

학습률이 정해지는 과정: 막대로 보기

위 실험의 세 방법이 스텝마다 무엇을 기억하고 무엇으로 나누는지 숫자로 봅니다. 공은 빼고 방향 둘만 둡니다. 가파른 쪽은 기울기가 20 과 −20 을 번갈아 나오고(좁은 골을 건너뛰며 오가는 공처럼), 완만한 쪽은 늘 1 입니다. 지어낸 기울기이고, 학습률은 η = 0.1 입니다. 같은 기울기로 경사 하강을 하면 스텝은 η·g, 곧 가파른 쪽 2, 완만한 쪽 0.1 입니다.

g: 이번 기울기 · G: 쌓인 제곱 · m: 속도(Adam 만) · 스텝: x 에서 빼는 양. 가운데 세로줄이 0, 점선 테두리는 앞 스텝의 막대, 검은 화살표는 스텝이 바뀐 만큼입니다. 막대 끝은 그 줄에서 20스텝 동안 가장 큰 값입니다(방법마다 따로).

위의 식은 4절 표의 식 그대로입니다. Adam 은 보정을 켜면 m 과 G 대신 m̂ 과 Ĝ 로 셈합니다.

해 볼 것. ① AdaGrad 의 첫 스텝은 두 방향 모두 0.1 입니다. 기울기는 20배 차이인데 스텝은 같습니다. 「다음」을 누를 때마다 G 가 가파른 쪽은 400 씩, 완만한 쪽은 1 씩 커지고, 스텝은 0.0707, 0.0577, 0.05 로 줄어 20스텝째 0.0224 입니다. ② RMSProp 은 첫 스텝이 0.316 으로 η 보다 큽니다. G 가 0 에서 출발해 아직 40 뿐이어서입니다. 20스텝째 G 는 351 로 400 에 다가가며 덜 커지고, 스텝은 0.107 입니다. ③ Adam 은 첫 스텝이 두 방향 모두 0.1 입니다. 둘째 스텝에서 가파른 쪽 m̂ 이 −1.05 로 지워져 스텝 크기가 0.00526 이 되고, 완만한 쪽은 20스텝 내내 0.1 입니다. ④ Adam 에서 보정을 끄면 첫 스텝이 두 방향 모두 0.316 이고, 완만한 쪽은 10스텝째 0.653 으로 η 의 6배가 넘습니다.

4. 한 표로 정리

위치를 x, 학습률을 η, 모멘텀을 μ, 그 자리의 기울기를 g 라고 적으면:

방법기억하는 것한 스텝
경사 하강없음x ← x − η·g
모멘텀속도 vv ← μ·v − η·g, x ← x + v
네스테로프속도 v위와 같되 g 를 x + μ·v 자리에서 잰다
AdaGrad기울기 크기의 합 GG ← G + g², x ← x − η·g ÷ √G
RMSProp최근 기울기 크기 GG ← 0.9·G + 0.1·g², x ← x − η·g ÷ √G
Adam속도 m 과 최근 크기 Gm ← 0.9·m + 0.1·g, G ← 0.999·G + 0.001·g², x ← x − η·m ÷ √G

표의 앞 세 줄(경사 하강, 모멘텀, 네스테로프)이 한 조각씩 붙으며 만들어지는 과정은 식이 만들어지는 과정에서 그림으로 봅니다(거기서는 g 를 ∇f(x) 로 적습니다).

아래 셋은 방향(숫자) 하나하나마다 따로 셈합니다. Adam 은 처음 몇 스텝에 m 과 G 를 키워 주는 보정이 더 있습니다. 이 쪽의 실험에는 넣었고, 3절의 막대 실험에서 켜고 끌 수 있습니다.

어디에 쓰나

AI 모델을 학습시킬 때 씁니다. 「틀린 정도」를 높이로 보면 학습은 그 땅의 바닥을 찾는 일입니다. 실제로는 방향이 둘이 아니라 숫자 수백만~수십억 개를 한꺼번에 움직입니다. 원리는 이 쪽의 땅과 같습니다. 이런 방법을 묶어 「옵티마이저(optimizer)」라고 부릅니다.

# PyTorch 에서는 한 줄로 고릅니다
torch.optim.SGD(params, lr=0.01, momentum=0.9, nesterov=True)  # 네스테로프
torch.optim.Adagrad(params, lr=0.01)
torch.optim.RMSprop(params, lr=0.01)
torch.optim.Adam(params, lr=0.001)

5. 실제 학습에서는: 전체 자료 대신 미니배치의 기울기로

이 쪽의 땅은 식 하나라 기울기를 바로 잽니다. 학습에서는 높이(손실)가 예제 N 개 하나하나의 틀린 정도를 평균한 것이라, 정확한 기울기를 내려면 스텝마다 예제를 모두 봐야 합니다. 자료가 크면 스텝 하나가 너무 비쌉니다. 그래서 스텝마다 예제 B 개를 뽑아, 그 미니배치(minibatch)의 평균 기울기로 한 스텝 갑니다.

x ← x − η·(∇ℓ₁(x) + ∇ℓ₂(x) + … + ∇ℓB(x)) ÷ B

예제를 무작위로 뽑으므로 이 기울기는 평균적으로는 전체 기울기와 같지만, 뽑을 때마다 조금씩 틀립니다. 그만큼 길이 흔들립니다. B = 1 이 좁은 뜻의 확률적 경사 하강(SGD)이고, 1 과 N 사이가 미니배치입니다. 위 코드의 torch.optim.SGD 의 SGD 가 이 이름입니다. 4절 표의 다른 방법들도 g 자리에 이 미니배치 기울기를 넣어 씁니다. 배치 크기에 따라 길이 얼마나 흔들리는지, 미니배치가 커지면 흔들림이 왜 줄어드는지는 배치 크기 쪽에서 직접 걸어 봅니다.

자주 묻는 것

네스테로프 가속 경사(NAG)가 뭔가요?

모멘텀을 쓰는 경사 하강법의 한 가지입니다. 지금 선 자리가 아니라, 지금 속도대로 조금 더 간 자리의 기울기를 보고 방향을 고칩니다. 그래서 바닥을 지나치기 전에 속도가 줄어듭니다.

모멘텀과 네스테로프는 뭐가 다른가요?

기울기를 재는 자리 하나만 다릅니다. 모멘텀은 지금 자리에서 재고, 네스테로프는 속도대로 먼저 가 본 자리에서 잽니다.

AdaGrad 와 RMSProp 은 뭐가 다른가요?

둘 다 방향마다 학습률을 따로 정합니다. AdaGrad 는 지금까지 본 기울기를 계속 쌓기만 해서 스텝이 갈수록 작아집니다. RMSProp 은 오래된 기울기를 조금씩 잊어서 스텝이 죽지 않습니다.

Adam 은 뭔가요?

RMSProp 의 방향마다 다른 학습률에 모멘텀의 모멘텀을 더한 방법입니다. 설정을 크게 가리지 않아 딥러닝에서 기본으로 많이 씁니다.

그럼 무엇을 쓰면 되나요?

정답은 없습니다. 보통 Adam(또는 AdamW)으로 시작하고, 이미지 분류처럼 오래 연구된 일에서는 모멘텀이나 네스테로프를 붙인 SGD 도 많이 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
기울기미분값, 도함수(derivative). 방향이 여럿이면 그래디언트(gradient)
∇f(x)f 의 x 에서의 그래디언트. ∇ 는 나블라(nabla)라고 읽는다
한 번에 가는 크기학습률(learning rate)
모멘텀모멘텀 계수(momentum)
높이손실(loss), 목적 함수
바닥 / 얕은 골짜기최솟값 / 지역 최솟값(local minimum)
방향마다 다른 학습률적응적 학습률(adaptive learning rate)
내려가는 방법옵티마이저(optimizer)
일부 예제로 걷는 경사 하강미니배치 확률적 경사 하강법(minibatch SGD). 좁게는 B = 1 을 확률적 경사 하강법(SGD), 전체를 배치 경사 하강법(batch gradient descent)이라 한다

출처

← 역전파강화학습 →