강화학습: 해 보고 보상으로 배우기

강아지에게 「앉아」를 가르칠 때 정답 동작을 보여 주지 않고, 앉았을 때 간식을 줍니다. 강화학습도 이렇게 배웁니다. 아래 격자에서 에이전트는 처음에 아무렇게나 돌아다니다가, 받은 점수만으로 도착 칸까지 가는 길을 찾아냅니다.

한 줄 답. 강화학습은 정답을 알려 주지 않고, 행동의 결과로 받는 보상(점수)만으로 배우는 방법입니다. 에이전트가 환경에서 상태를 보고 행동을 고르면, 환경이 보상과 다음 상태를 돌려줍니다. 이것을 되풀이하며 「길게 봤을 때 보상을 가장 많이 받는 행동 방식(정책)」을 찾습니다.

지도

칸 바꾸기(고르고 칸을 누름)

작게 줄인 본보기입니다. 가로 6칸, 세로 5줄의 격자에서 Q 학습을 이 브라우저 안에서 돌립니다. 칸마다 세모 넷은 그 칸에서 위·오른쪽·아래·왼쪽으로 갈 때의 Q 값입니다. 초록은 +, 주황은 − 이고 진할수록 큽니다. 가운데 화살표는 Q 가 가장 큰 방향(지금의 정책), 파란 동그라미는 에이전트, 옅은 파란 선은 이번 에피소드에 지나온 길, 파란 테두리 세모는 방금 고친 Q 입니다. 보상은 도착 +10, 함정 −10, 그 밖의 걸음마다 −(걸음 벌점)입니다. 한 에피소드(episode)는 도착이나 함정에 닿거나 200걸음이 되면 끝납니다. 「처음부터」와 지도 단추는 늘 같은 시드(seed)로 다시 시작해서, 같은 순서로 누르면 같은 결과가 나옵니다. 칸을 바꿔도 배운 값은 남습니다. 같은 도구로 한 번 더 누르면 빈칸이 됩니다. 설명 줄의 「화살표를 따라가면」은 미끄러짐 없이 센 길입니다. 아래 그래프는 에피소드마다 받은 보상의 합입니다. 진짜 문제는 상태가 훨씬 많아서 표 대신 신경망을 씁니다(9절).

1. 지도 학습, 비지도 학습과 무엇이 다른가

기계 학습은 흔히 셋으로 나눕니다. 무엇을 받아서 배우는지가 다릅니다.

받는 것배우는 것예
지도 학습문제와 정답의 짝문제를 넣으면 정답이 나오는 함수메일 → 「스팸」 (로지스틱 회귀)
비지도 학습정답이 없는 자료자료 안의 모양(클러스터, 중요한 방향)점들의 가장 중요한 방향 찾기 (주성분 분석)
강화학습행동한 뒤의 점수(보상)상태마다 무엇을 할지(정책)게임에서 점수 많이 따기

강화학습이 다른 둘과 갈리는 점은 셋입니다.

2. 낱말 여덟 개

낱말뜻실험에서
에이전트보고, 고르고, 배우는 쪽파란 동그라미
환경에이전트 바깥의 모든 것. 행동을 받아 다음 상태와 보상을 정한다격자, 벽, 미끄러운 바닥
상태지금 어떤 처지에 있는지에이전트가 있는 칸
행동그 상태에서 고를 수 있는 것위, 오른쪽, 아래, 왼쪽
보상행동 한 번마다 환경이 주는 점수도착 +10, 함정 −10, 그 밖은 걸음마다 −0.1
정책상태마다 어떤 행동을 할지 정한 규칙칸마다의 화살표
가치그 상태(또는 그 상태에서 그 행동)에서 시작해 앞으로 받을 보상의 합. 운이 끼면 그 평균세모의 색과 숫자(Q 값)
에피소드시작에서 끝까지의 한 판출발 → 도착이나 함정, 또는 200걸음

이 여덟 낱말은 한 바퀴로 이어집니다. 에이전트가 상태를 보고 정책대로 행동을 고르면, 환경이 보상과 다음 상태를 돌려줍니다. 에이전트는 그 보상으로 배우고, 다음 상태에서 다시 고릅니다. 코드로 적으면 이렇습니다.

let state = env.reset();                       // 출발 칸
while (true) {
  const action = policy(state);                // 상태를 보고 행동을 고른다
  const { next, reward, done } = env.step(action);  // 환경이 보상과 다음 상태를 돌려준다
  learn(state, action, reward, next, done);    // 받은 보상으로 배운다(4절)
  if (done) break;                             // 도착이나 함정이면 한 에피소드 끝
  state = next;
}
에이전트환경 보고, 고르고, 배우는 쪽격자, 벽, 미끄러운 바닥 행동 aₜ상태 sₜ₊₁, 보상 rₜ₊₁
위 코드의 while 한 바퀴가 이 고리 한 바퀴입니다. t 는 몇 번째 걸음인지입니다. 에이전트가 상태 sₜ 를 보고 정책대로 행동 aₜ 를 고르면(policy), 환경이 다음 상태 sₜ₊₁ 과 보상 rₜ₊₁ 을 돌려줍니다(env.step). 에이전트는 그 보상으로 배우고 sₜ₊₁ 에서 다시 고릅니다.

요즘 많이 말하는 「AI 에이전트」(LLM 이 도구를 불러 가며 일을 해 나가는 프로그램)와 낱말이 같고, 스스로 보고 움직인다는 뜻도 겹치지만, 강화학습의 에이전트는 「보상을 받으며 배우는 쪽」을 부르는 이름일 뿐 LLM 이나 도구를 쓰는 프로그램을 뜻하지 않습니다.

3. 보상의 합과 할인

에이전트가 늘리려는 것은 보상 한 번이 아니라 앞으로 받을 보상의 합입니다. 다만 먼 보상은 조금 깎아서 셉니다. 한 걸음 멀어질 때마다 γ(감마, 할인율)를 한 번씩 곱합니다.

G = r₁ + γ × r₂ + γ² × r₃ + γ³ × r₄ + …

γ 는 0 에서 1 사이입니다. γ = 0.9 면 한 걸음 뒤의 보상은 0.9 배, 두 걸음 뒤는 0.81 배로 칩니다. γ 가 0 이면 바로 다음 보상만 보고, 1 에 가까울수록 먼 보상도 거의 그대로 셉니다. 깎는 까닭은 셋입니다.

예: 「쉬운 길」의 가장 짧은 길은 9걸음입니다. 앞의 8걸음은 −0.1, 마지막 걸음은 +10 입니다. γ = 0.9 로 할인하면

G = −0.1 × (1 + 0.9 + 0.9² + … + 0.9⁷) + 0.9⁸ × 10 = −0.57 + 4.30 = 3.74

할인하지 않고 그냥 더하면 −0.1 × 8 + 10 = 9.2 입니다. 아래 그래프에 쌓이는 「에피소드마다 받은 보상의 합」은 이렇게 그냥 더한 값입니다.

해 볼 것. ① 처음 화면(쉬운 길)에서 「100 에피소드」를 누르세요. 출발 칸의 가장 큰 세모가 3.7 입니다. 위에서 계산한 3.74 입니다. 화살표를 따라가면 9걸음에 도착합니다. 그래프에서 첫 에피소드는 47걸음을 헤매다 함정에 빠져 −14.6 이고, 100 에피소드가 끝나면 최근 20 에피소드의 평균이 9.14 까지 올라와 있습니다. ② 「미로」를 고르고 「100 에피소드」를 누르면 출발 칸의 가장 큰 Q 는 2.1 입니다(13걸음 뒤의 도착). ③ 이제 γ 를 0.5 로 낮추고 「처음부터」, 「100 에피소드」를 누르세요. 출발 칸이 −0.2 가 되고, 초록 칸은 도착에서 6걸음 안쪽의 6칸뿐입니다. 13걸음 뒤의 10점은 10 × 0.5¹² ≈ 0.0024 로 줄어서, 먼 도착은 거의 보이지 않고 눈앞의 걸음 벌점만 보이는 것입니다. 이 미로는 미끄럽지 않아서 화살표는 여전히 13걸음 길을 가리킵니다. 값의 차이가 아주 작아졌을 뿐입니다.

4. Q 값과 갱신 식

Q(s, a) 는 「상태 s 에서 행동 a 를 하고, 그 뒤로는 가장 좋게 움직이면 앞으로 받을 보상의 합(할인한 것)」입니다. 쉽게 말해 「이 칸에서 이쪽으로 가면 얼마나 좋은가」입니다. 이 실험에서는 칸마다 방향 넷의 Q 를 표 하나에 적어 둡니다(30칸 × 4방향 = 120개). 이 표에서 칸마다 Q 가 가장 큰 방향을 고르면 그것이 정책(화살표)이고, 그 가장 큰 값이 그 칸의 가치입니다.

Q 값들 사이에는 이런 관계가 있습니다.

Q(지금 칸, 이 방향) = 이번 걸음의 보상 + γ × (도착한 칸에서 고를 수 있는 가장 큰 Q)

「지금 이쪽으로 가는 값은, 한 걸음의 보상에 다음 칸에서부터의 가장 좋은 값을 할인해 더한 것」이라는 뜻입니다. 이것을 벨만 식이라고 부릅니다. 미끄러운 바닥처럼 운이 끼면 오른쪽을 여러 결과의 평균으로 봅니다.

처음에는 Q 를 모르니 모두 0 에서 시작합니다. 한 걸음 걸을 때마다 방금의 Q 를 벨만 식의 오른쪽(목표)으로 조금씩 옮깁니다. 이것이 Q 학습입니다.

Q(s,a) ← Q(s,a) + α × (보상 + γ × 다음 칸의 가장 큰 Q − Q(s,a))

이 식이 조각마다 왜 그렇게 생겼는지는 아래 「식이 만들어지는 과정」에서 그림으로 한 단계씩 봅니다.

보상은 도착과 함정에서만 크게 나옵니다. 그래서 값은 그 칸 바로 앞에서 처음 생기고, 그 칸을 다음 칸으로 삼는 이웃이 갱신될 때 한 칸씩 거꾸로 퍼져 나갑니다. 도착에서 출발 쪽으로 초록이 번지는 모습이 실험에서 그대로 보입니다.

해 볼 것. ① 「처음부터」를 누르고 「한 걸음」을 누르세요. 설명 줄에 Q(지금 칸, …) ← 0 + 0.5 × (−0.1 + 0.9 × 0 − 0) = −0.05 가 나옵니다. 모든 값이 0 이라 첫 걸음은 어느 쪽으로 가든 −0.05 가 됩니다. 「한 걸음」을 몇 번 더 누르며 숫자가 바뀌는 것을 보세요. ② 「미로」를 고르고 「한 에피소드」를 한 번씩 누르세요. 첫 에피소드는 71걸음 만에 함정에 빠지고, 둘째 에피소드는 200걸음이 되도록 끝 칸을 못 찾습니다. 셋째 에피소드에 44걸음 만에 처음 도착하는데, 이때 초록이 생기는 칸은 도착 바로 위 한 칸뿐입니다. 열 에피소드가 끝나면 초록 칸이 다섯 개로 늘어, 도착에서 위로, 다시 왼쪽으로 길을 따라 거꾸로 번져 있습니다.

식이 만들어지는 과정: Q 학습의 갱신 식

4절의 갱신 식을 기호로 적으면 Q(s,a) ← Q(s,a) + α [r + γ maxₐ′ Q(s′,a′) − Q(s,a)] 입니다. s 는 지금 칸, a 는 고른 방향, r 은 받은 보상, s′ 은 걸어서 닿은 다음 칸, a′ 은 s′ 에서 고를 수 있는 방향입니다. maxₐ′ Q(s′,a′) 는 「a′ 에 넷을 다 넣어 보고 가장 큰 Q」입니다. 이 식을 한 조각씩 만들어 봅니다. 장면은 실험의 처음 화면(쉬운 길, α = 0.5, γ = 0.9, ε = 0.1)에서 일곱째 에피소드의 50번째 걸음에 실제로 일어난 갱신입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 아래 수직선의 막대와 점이 그만큼 바뀌고, 까닭이 나옵니다.

위 띠의 세모 넷은 실험과 같이 위·오른쪽·아래·왼쪽으로 갈 때의 Q 입니다. 아래 「목표」 줄은 주황 막대(보상 r)에 초록 막대(s′ 에서부터의 몫)를 이어 붙인 것이고, 검은 눈금이 지금의 목표입니다. 「Q(s,a)」 줄의 파란 점은 알던 값, 보라 화살표는 목표까지의 오차입니다. 이 그림은 실험의 막대를 바꿔도 그대로입니다.

마지막 식은 Q(s,a) ← (1 − α) × Q(s,a) + α × 목표 로 바꿔 쓸 수 있습니다. 새 값은 알던 값과 목표를 1 − α 대 α 로 섞은 것입니다. 이 장면에서는 0.5 × 2.2 + 0.5 × 6.65 = 4.425 입니다. 그래서 α 가 고정이면 Q 는 지금까지 본 목표들의 평균(최근 것에 더 무게를 둔 평균) 쪽으로 갑니다. 또 오차가 0 이 되는 곳, 곧 Q(s,a) = r + γ maxₐ′ Q(s′,a′) 가 4절의 벨만 식입니다(미끄러운 바닥에서는 평균으로 보아). Q 학습은 걸음마다 벨만 식이 맞지 않는 만큼을 조금씩 줄여 가는 방법입니다.

5. 손으로 따라 풀기: 칸 셋짜리 복도

칸 셋짜리 복도 [A 출발] [B] [도착 +10] 에서 에이전트가 늘 오른쪽으로만 간다고 합시다. 실험의 처음 값과 같게 α = 0.5, γ = 0.9, 걸음 벌점 0.1 이고, Q 는 모두 0 에서 시작합니다.

  1. 에피소드 1, A → B. 보상 −0.1, B 의 가장 큰 Q 는 0. Q(A,→) ← 0 + 0.5 × (−0.1 + 0.9 × 0 − 0) = −0.05
  2. 에피소드 1, B → 도착. 보상 +10, 도착은 끝 칸이라 다음 값 0. Q(B,→) ← 0 + 0.5 × (10 + 0 − 0) = 5
  3. 에피소드 2, A → B. 이제 B 에 5 가 있습니다. Q(A,→) ← −0.05 + 0.5 × (−0.1 + 0.9 × 5 − (−0.05)) = −0.05 + 0.5 × 4.45 = 2.175
  4. 에피소드 2, B → 도착. Q(B,→) ← 5 + 0.5 × (10 − 5) = 7.5
  5. 에피소드 3. Q(A,→) ← 2.175 + 0.5 × (−0.1 + 0.9 × 7.5 − 2.175) = 4.4125, Q(B,→) ← 7.5 + 0.5 × (10 − 7.5) = 8.75
에피소드가 끝난 뒤Q(A,→)Q(B,→)
처음00
에피소드 1−0.055
에피소드 22.1757.5
에피소드 34.41258.75
끝없이 하면8.9 (= −0.1 + 0.9 × 10)10

두 가지가 보입니다. 첫째, 도착에 가까운 B 가 먼저 배우고 A 는 한 에피소드 늦게 배웁니다. 에피소드 1 에서 A 를 갱신할 때 B 는 아직 0 이었기 때문입니다. 값이 끝에서 거꾸로 퍼진다는 것이 이것입니다. 둘째, α = 0.5 라서 B 와 참값 10 의 차이가 에피소드마다 절반이 됩니다(5 → 2.5 → 1.25).

6. 탐험과 활용

슬롯머신(손잡이를 당기면 확률로 돈이 나오는 기계)이 여러 대 있다고 합시다. 몇 번 당겨 보니 1번이 가장 잘 나왔습니다. 계속 1번만 당길까요, 덜 당겨 본 2번, 3번도 당겨 볼까요? 1번만 당기면(활용) 2번이 사실 더 좋아도 영영 모릅니다. 다른 것만 당기면(탐험) 이미 아는 좋은 것을 버립니다. 이 맞바꿈이 탐험과 활용의 맞바꿈입니다. 이 문제를 책에서는 「멀티암드 밴딧(multi-armed bandit)」라고 부릅니다. 슬롯머신의 별명 「외팔이 강도」에서 온 이름입니다.

이 실험은 가장 단순한 방법인 ε-그리디(ε-greedy)를 씁니다. 걸음마다 확률 ε 로 아무 방향이나 고르고(탐험), 나머지는 Q 가 가장 큰 방향을 고릅니다(활용). ε = 0.1 이면 열 걸음에 한 번꼴로 무작위입니다.

ε = 0 이어도 처음에는 꽤 돌아다닙니다. 해 본 방향은 걸음 벌점 때문에 대개 0 보다 작아지고, 안 해 본 방향은 0 그대로라 더 좋아 보이기 때문입니다(낙관적 초깃값). 하지만 한번 + 값이 생긴 길에서는 0 인 방향을 다시 고르지 않습니다. 그 뒤에 더 좋은 길이 생겨도 모릅니다.

해 볼 것. ① 「미로」를 고르고 ε 을 0 으로 놓은 뒤 「100 에피소드」를 누르세요. 13걸음 길을 배웁니다. ② 「벽」 도구로 위에서 셋째 줄, 왼쪽에서 다섯째 칸의 벽을 누르세요. 벽이 지워지고 설명 줄의 가장 짧은 길이 9걸음으로 바뀝니다. ③ 「100 에피소드」를 두 번 더 눌러도 화살표는 13걸음 길 그대로입니다. 지워진 벽 쪽으로 가 보는 일이 다시는 없기 때문입니다. ④ ε 을 0.1 로 올리고 「100 에피소드」를 누르면 9걸음 지름길로 바뀝니다. 처음부터 ε 이 0.1 이었다면 벽을 지운 뒤 「100 에피소드」 한 번에 9걸음 길을 찾습니다.

7. 미끄러운 바닥: 위험을 셈에 넣기

「미끄러움」을 p 로 두면, 고른 방향으로 갈 확률이 1 − p 이고 왼쪽 옆과 오른쪽 옆으로 미끄러질 확률이 p/2 씩입니다. 같은 칸에서 같은 행동을 해도 결과가 달라집니다. 이제 Q 는 「평균으로 보아」 앞으로 받을 보상의 합입니다. 함정 옆을 걸으면 걸음마다 함정에 빠질 위험이 있고, Q 에 그 위험이 들어갑니다.

「함정 옆 지름길」은 맨 아래 줄이 모두 함정이고, 출발과 도착이 그 바로 위 줄의 양 끝에 있습니다. 함정 바로 위 줄을 따라가면 5걸음, 한 줄 위로 돌아가면 7걸음입니다. 미끄러움이 20% 면 함정 쪽으로 미끄러질 확률이 걸음마다 10% 라서, 함정 옆을 다섯 걸음 걷고도 빠지지 않을 확률은 0.9⁵ ≈ 0.59 뿐입니다.

해 볼 것. ① 「함정 옆 지름길」을 고르고 「100 에피소드」를 누르세요. 화살표는 함정 바로 위 줄을 따라가는 5걸음 길입니다. 그래도 설명 줄을 보면 최근 20 에피소드 가운데 3 에피소드는 함정에 빠졌습니다. 탐험으로 무작위로 아래를 고른 에피소드입니다. Q 학습은 「다음부터는 가장 좋게 움직인다면」의 값을 배우므로, 탐험하다 빠지는 일은 길을 고를 때 셈에 넣지 않습니다. ② 미끄러움을 20% 로 놓고 「처음부터」, 「100 에피소드」를 누르세요. 출발에서 한 줄 위로 올라가 함정에서 떨어진 7걸음 길로 돌아갑니다. ③ 미끄러운 바닥에서는 같은 걸음도 결과가 달라서 α 가 0.5 처럼 크면 값이 크게 흔들립니다. 「100 에피소드」를 한 번 더 누르면 화살표가 맴도는 곳이 생깁니다. α 를 0.2 로 낮추고 「처음부터」 하면 「100 에피소드」를 열 번 누르는 동안 내내 7걸음 길을 지킵니다.

8. 꼭 알아야 할 성질

성질쉬운 말
보상만 주고 정답은 주지 않는다「어떻게」는 에이전트가 해 보며 찾는다. 무엇을 바라는지는 보상으로만 전해진다
G = r₁ + γ r₂ + γ² r₃ + …늘리려는 것은 할인한 보상의 합. γ 가 작을수록 가까운 것만 본다
Q(s,a) = r + γ × max Q(s′, ·) (벨만 식)값은 끝(보상)에서 거꾸로, 갱신 한 번에 한 칸씩 퍼진다
탐험 없이는 더 좋은 길을 모른다해 본 것 가운데서만 고르면 처음 찾은 길에 매달린다
표 방식 Q 학습은 가장 좋은 Q 로 다가간다모든 칸의 모든 행동을 끝없이 되풀이해 해 보고 학습률을 알맞게 줄여 가면 그렇다는 증명이 있다(Watkins, Dayan 1992). 이 실험은 α 를 고정해 두어서, 미끄러운 바닥에서는 값이 흔들린다

9. 표로는 안 되는 큰 문제: 신경망으로 Q 나 정책을 나타내기

표 방식은 상태와 행동마다 숫자 하나를 둡니다. 이 격자는 120개면 됩니다. 하지만 게임 화면의 픽셀을 상태로 보면 상태가 셀 수 없이 많고, 같은 화면을 두 번 보는 일도 드뭅니다. 표를 만들 수도, 채울 수도 없습니다. 그래서 표 대신 상태를 넣으면 값이나 행동을 내는 함수를 신경망으로 만들고, 그 가중치를 학습합니다. 비슷한 상태에는 비슷한 값이 나오므로 처음 보는 상태에도 쓸 만한 답을 냅니다.

표: 상태와 행동마다 숫자 하나 칸위오른쪽아래왼쪽 출발 위 칸−0.330.96−0.37−0.34 출발 칸−0.33.740.50.69 출발 오른쪽 칸−0.314.261.72−0.3 ⋮ 30칸 × 4방향 = 120개 칸마다 따로 기억한다
실험의 처음 화면(쉬운 길)에서 「100 에피소드」 뒤 Q 테이블의 세 줄입니다. 파란 줄이 출발 칸이고, 가장 큰 3.74 가 3절에서 계산한 값입니다.
신경망: 상태를 넣으면 값을 내는 함수 상태 s출발 칸 신경망 Q(s, 위)Q(s, 오른쪽)Q(s, 아래)Q(s, 왼쪽) 비슷한 상태에는 비슷한 값이 나온다
같은 출발 칸을 신경망에 넣으면 행동마다의 Q 넷이 한꺼번에 나옵니다(DQN). 칸마다 적어 두지 않고 가중치를 학습합니다.

DQN(심층 Q 신경망). 상태를 넣으면 행동마다의 Q 를 내는 신경망입니다. 갱신 식의 「보상 + γ × 다음 상태의 가장 큰 Q」를 목표로 삼아, 신경망의 답이 목표에 가까워지도록 경사 하강으로 가중치를 고칩니다. Mnih 등(2015)은 이 방법으로 아타리 2600 게임 49개를 화면의 픽셀과 점수만 보고 배우게 했고, 같은 방법과 설정으로 사람 전문 시험자와 견줄 만한 수준에 닿았습니다. 학습이 흔들리지 않도록 두 가지를 더했습니다. 지난 걸음들을 모아 두었다가 무작위로 꺼내 배우기(경험 재생), 목표를 계산하는 신경망을 따로 두고 가끔만 새로 맞추기(목표 신경망)입니다.

정책 기울기. Q 를 거치지 않고, 상태를 넣으면 행동마다의 확률을 내는 신경망(정책)을 바로 학습합니다. 한 에피소드를 해 보고 보상의 합이 컸던 에피소드의 행동은 확률을 올리고, 작았던 에피소드의 행동은 내립니다. 가장 오래된 꼴은 REINFORCE(Williams 1992)입니다. 로봇 관절의 힘처럼 행동이 연속된 값이어도 쓸 수 있습니다. 정책과 가치를 같이 배우는 방법(액터-크리틱)도 많이 씁니다.

상태가 하나뿐인 아주 작은 예로 이 규칙을 한 에피소드씩 돌려 봅니다. 상태가 하나라 신경망 대신 행동 넷마다 선호도 θ 를 하나씩 두고, θ 넷을 softmax 에 넣어 확률을 만듭니다(넷의 합이 1, θ 가 클수록 확률이 큼). 에피소드가 끝나면 넷의 θ 를 모두 이렇게 고칩니다.

θ ← θ + 학습률 × (보상 − 기준) × (뽑힌 행동이면 1 − p, 아니면 −p)

지어낸 규칙: 에피소드마다 받는 보상의 합은 고른 행동의 평균(위 +1, 오른쪽 +3, 아래 −1, 왼쪽 +2)에서 ±2 안으로 고르게 흔들립니다(소수 첫째 자리까지). 에이전트는 이 평균을 모르고, 뽑아 본 에피소드의 보상 합만 봅니다. 맨 위 줄은 초록이면 보상이 기준보다 크고 주황이면 작습니다. 늘 같은 시드라 같은 에피소드가 나옵니다. 「50 에피소드」를 몇 번 누르면 가장 좋은 「오른쪽」의 막대가 커지는 것이 보입니다.

10. 어려운 점

어디에 쓰나

자주 묻는 것

강화학습은 지도 학습과 무엇이 다른가요?

지도 학습은 문제마다 정답을 받고, 강화학습은 정답 없이 행동한 결과의 점수(보상)만 받습니다. 그래서 강화학습은 스스로 해 보며 자료를 모으고, 늦게 오는 점수를 앞의 행동들에 나눠 주는 일까지 해야 합니다.

Q 값은 무엇인가요?

어떤 상태에서 어떤 행동을 하고, 그 뒤로는 가장 좋게 움직일 때 앞으로 받을 보상의 합(먼 것은 할인한 것)입니다. 상태마다 Q 가 가장 큰 행동을 고르면 그것이 정책이 됩니다.

할인율 γ 는 왜 쓰나요?

먼 보상을 조금 깎아 세려고 씁니다. 같은 보상이면 빨리 받는 쪽을 좋게 치게 되고, 끝이 없는 일에서도 보상의 합이 끝없이 커지지 않습니다. γ 가 작을수록 가까운 보상만 봅니다.

탐험은 왜 필요한가요?

해 본 것 가운데 가장 좋은 것만 고르면, 해 보지 않은 더 좋은 길을 영영 모릅니다. 그래서 가끔(확률 ε) 일부러 아무 행동이나 해 봅니다.

LLM 도 강화학습으로 학습하나요?

학습의 대부분은 글의 다음 토큰을 맞히는 방식으로 합니다. 그 뒤에 사람이 고른 답으로 보상 모델을 만들고, 그 보상으로 모델을 더 다듬는 단계(사람 피드백 강화학습, RLHF)를 더하기도 합니다.

낱말

여기서 쓴 말책에서 부르는 말
해 보고 보상으로 배우기강화학습(reinforcement learning, RL)
보고, 고르고, 배우는 쪽에이전트(agent)
에이전트 바깥의 모든 것환경(environment)
상태 / 행동 / 보상state(s) / action(a) / reward(r)
상태마다 행동을 정한 규칙정책(policy, π)
할인한 보상의 합리턴(return, G), 누적 보상
할인율discount factor(γ)
가치상태 가치 V(s)(state value), 행동 가치 Q(s, a)(action value)
한 판에피소드(episode)
칸마다 Q 를 적은 표Q 테이블(Q-table), 표 방식(tabular)
지금 값 = 보상 + γ × 다음 값벨만 방정식(Bellman equation)
목표 − 알던 값(틀린 만큼)시간차 오차(temporal-difference error, TD error)
학습률learning rate, step size(α)
해 보지 않은 것 해 보기 / 아는 좋은 것 쓰기탐험(exploration) / 활용(exploitation)
확률 ε 로 무작위, 나머지는 가장 좋은 것ε-그리디(ε-greedy). 늘 가장 좋은 것만 고르면 그리디(greedy)
슬롯머신 여러 대 문제멀티암드 밴딧(multi-armed bandit)
안 해 본 것이 좋아 보이는 처음 값낙관적 초깃값(optimistic initial values)
미끄러운 바닥확률적 환경(stochastic environment), 전이 확률(transition probability)
「다음부터 가장 좋게 움직인다면」으로 배우기오프 폴리시(off-policy) 학습
Q 를 내는 신경망심층 Q 신경망(deep Q-network, DQN)
지난 걸음을 모아 다시 꺼내 배우기경험 재생(experience replay)
행동 확률을 바로 고치기정책 기울기(policy gradient), REINFORCE, 액터-크리틱(actor-critic)
사람의 선호로 만든 점수 모델보상 모델(reward model)
사람 피드백 강화학습RLHF(reinforcement learning from human feedback)
준 점수의 빈틈을 파고듦보상 해킹(reward hacking), 명세 게이밍(specification gaming)
흉내 낸 세계시뮬레이터(simulator)

출처

← 경사 하강법학습 루프: 한 스텝, 한 에폭 →