강화학습: 해 보고 보상으로 배우기
강아지에게 「앉아」를 가르칠 때 정답 동작을 보여 주지 않고, 앉았을 때 간식을 줍니다. 강화학습도 이렇게 배웁니다. 아래 격자에서 에이전트는 처음에 아무렇게나 돌아다니다가, 받은 점수만으로 도착 칸까지 가는 길을 찾아냅니다.
한 줄 답. 강화학습은 정답을 알려 주지 않고, 행동의 결과로 받는 보상(점수)만으로 배우는 방법입니다. 에이전트가 환경에서 상태를 보고 행동을 고르면, 환경이 보상과 다음 상태를 돌려줍니다. 이것을 되풀이하며 「길게 봤을 때 보상을 가장 많이 받는 행동 방식(정책)」을 찾습니다.
지도
칸 바꾸기(고르고 칸을 누름)
작게 줄인 본보기입니다. 가로 6칸, 세로 5줄의 격자에서 Q 학습을 이 브라우저 안에서 돌립니다. 칸마다 세모 넷은 그 칸에서 위·오른쪽·아래·왼쪽으로 갈 때의 Q 값입니다. 초록은 +, 주황은 − 이고 진할수록 큽니다. 가운데 화살표는 Q 가 가장 큰 방향(지금의 정책), 파란 동그라미는 에이전트, 옅은 파란 선은 이번 에피소드에 지나온 길, 파란 테두리 세모는 방금 고친 Q 입니다. 보상은 도착 +10, 함정 −10, 그 밖의 걸음마다 −(걸음 벌점)입니다. 한 에피소드(episode)는 도착이나 함정에 닿거나 200걸음이 되면 끝납니다. 「처음부터」와 지도 단추는 늘 같은 시드(seed)로 다시 시작해서, 같은 순서로 누르면 같은 결과가 나옵니다. 칸을 바꿔도 배운 값은 남습니다. 같은 도구로 한 번 더 누르면 빈칸이 됩니다. 설명 줄의 「화살표를 따라가면」은 미끄러짐 없이 센 길입니다. 아래 그래프는 에피소드마다 받은 보상의 합입니다. 진짜 문제는 상태가 훨씬 많아서 표 대신 신경망을 씁니다(9절).
1. 지도 학습, 비지도 학습과 무엇이 다른가
기계 학습은 흔히 셋으로 나눕니다. 무엇을 받아서 배우는지가 다릅니다.
| 받는 것 | 배우는 것 | 예 | |
|---|---|---|---|
| 지도 학습 | 문제와 정답의 짝 | 문제를 넣으면 정답이 나오는 함수 | 메일 → 「스팸」 (로지스틱 회귀) |
| 비지도 학습 | 정답이 없는 자료 | 자료 안의 모양(클러스터, 중요한 방향) | 점들의 가장 중요한 방향 찾기 (주성분 분석) |
| 강화학습 | 행동한 뒤의 점수(보상) | 상태마다 무엇을 할지(정책) | 게임에서 점수 많이 따기 |
강화학습이 다른 둘과 갈리는 점은 셋입니다.
- 정답이 아니라 점수만 받는다. 「몇 점이었다」만 알지, 「무엇을 했어야 했다」는 모릅니다. 더 나은 행동은 에이전트가 해 보며 찾아야 합니다.
- 점수가 늦게 온다. 도착의 +10 은 마지막 걸음에서만 받지만, 그 앞의 걸음들이 모두 도왔습니다. 어느 걸음 덕인지 나눠 주는 일이 필요합니다(3, 4절).
- 자료를 스스로 모은다. 에이전트가 어떻게 움직이느냐가 다음에 볼 자료를 정합니다. 해 보지 않은 것은 알 수 없습니다(6절).
2. 낱말 여덟 개
| 낱말 | 뜻 | 실험에서 |
|---|---|---|
| 에이전트 | 보고, 고르고, 배우는 쪽 | 파란 동그라미 |
| 환경 | 에이전트 바깥의 모든 것. 행동을 받아 다음 상태와 보상을 정한다 | 격자, 벽, 미끄러운 바닥 |
| 상태 | 지금 어떤 처지에 있는지 | 에이전트가 있는 칸 |
| 행동 | 그 상태에서 고를 수 있는 것 | 위, 오른쪽, 아래, 왼쪽 |
| 보상 | 행동 한 번마다 환경이 주는 점수 | 도착 +10, 함정 −10, 그 밖은 걸음마다 −0.1 |
| 정책 | 상태마다 어떤 행동을 할지 정한 규칙 | 칸마다의 화살표 |
| 가치 | 그 상태(또는 그 상태에서 그 행동)에서 시작해 앞으로 받을 보상의 합. 운이 끼면 그 평균 | 세모의 색과 숫자(Q 값) |
| 에피소드 | 시작에서 끝까지의 한 판 | 출발 → 도착이나 함정, 또는 200걸음 |
이 여덟 낱말은 한 바퀴로 이어집니다. 에이전트가 상태를 보고 정책대로 행동을 고르면, 환경이 보상과 다음 상태를 돌려줍니다. 에이전트는 그 보상으로 배우고, 다음 상태에서 다시 고릅니다. 코드로 적으면 이렇습니다.
let state = env.reset(); // 출발 칸
while (true) {
const action = policy(state); // 상태를 보고 행동을 고른다
const { next, reward, done } = env.step(action); // 환경이 보상과 다음 상태를 돌려준다
learn(state, action, reward, next, done); // 받은 보상으로 배운다(4절)
if (done) break; // 도착이나 함정이면 한 에피소드 끝
state = next;
}
while 한 바퀴가 이 고리 한 바퀴입니다. t 는 몇 번째 걸음인지입니다. 에이전트가 상태 sₜ 를 보고 정책대로 행동 aₜ 를 고르면(policy), 환경이 다음 상태 sₜ₊₁ 과 보상 rₜ₊₁ 을 돌려줍니다(env.step). 에이전트는 그 보상으로 배우고 sₜ₊₁ 에서 다시 고릅니다.요즘 많이 말하는 「AI 에이전트」(LLM 이 도구를 불러 가며 일을 해 나가는 프로그램)와 낱말이 같고, 스스로 보고 움직인다는 뜻도 겹치지만, 강화학습의 에이전트는 「보상을 받으며 배우는 쪽」을 부르는 이름일 뿐 LLM 이나 도구를 쓰는 프로그램을 뜻하지 않습니다.
3. 보상의 합과 할인
에이전트가 늘리려는 것은 보상 한 번이 아니라 앞으로 받을 보상의 합입니다. 다만 먼 보상은 조금 깎아서 셉니다. 한 걸음 멀어질 때마다 γ(감마, 할인율)를 한 번씩 곱합니다.
G = r₁ + γ × r₂ + γ² × r₃ + γ³ × r₄ + …
γ 는 0 에서 1 사이입니다. γ = 0.9 면 한 걸음 뒤의 보상은 0.9 배, 두 걸음 뒤는 0.81 배로 칩니다. γ 가 0 이면 바로 다음 보상만 보고, 1 에 가까울수록 먼 보상도 거의 그대로 셉니다. 깎는 까닭은 셋입니다.
- 같은 보상이면 빨리 받는 쪽이 커집니다. 그래서 같은 도착이라도 짧은 길을 더 좋게 칩니다.
- 끝이 없는 일에서도 합이 끝없이 커지지 않습니다.
- 먼 미래일수록 그대로 일어날지 확실하지 않습니다.
예: 「쉬운 길」의 가장 짧은 길은 9걸음입니다. 앞의 8걸음은 −0.1, 마지막 걸음은 +10 입니다. γ = 0.9 로 할인하면
G = −0.1 × (1 + 0.9 + 0.9² + … + 0.9⁷) + 0.9⁸ × 10 = −0.57 + 4.30 = 3.74
할인하지 않고 그냥 더하면 −0.1 × 8 + 10 = 9.2 입니다. 아래 그래프에 쌓이는 「에피소드마다 받은 보상의 합」은 이렇게 그냥 더한 값입니다.
해 볼 것. ① 처음 화면(쉬운 길)에서 「100 에피소드」를 누르세요. 출발 칸의 가장 큰 세모가 3.7 입니다. 위에서 계산한 3.74 입니다. 화살표를 따라가면 9걸음에 도착합니다. 그래프에서 첫 에피소드는 47걸음을 헤매다 함정에 빠져 −14.6 이고, 100 에피소드가 끝나면 최근 20 에피소드의 평균이 9.14 까지 올라와 있습니다. ② 「미로」를 고르고 「100 에피소드」를 누르면 출발 칸의 가장 큰 Q 는 2.1 입니다(13걸음 뒤의 도착). ③ 이제 γ 를 0.5 로 낮추고 「처음부터」, 「100 에피소드」를 누르세요. 출발 칸이 −0.2 가 되고, 초록 칸은 도착에서 6걸음 안쪽의 6칸뿐입니다. 13걸음 뒤의 10점은 10 × 0.5¹² ≈ 0.0024 로 줄어서, 먼 도착은 거의 보이지 않고 눈앞의 걸음 벌점만 보이는 것입니다. 이 미로는 미끄럽지 않아서 화살표는 여전히 13걸음 길을 가리킵니다. 값의 차이가 아주 작아졌을 뿐입니다.
4. Q 값과 갱신 식
Q(s, a) 는 「상태 s 에서 행동 a 를 하고, 그 뒤로는 가장 좋게 움직이면 앞으로 받을 보상의 합(할인한 것)」입니다. 쉽게 말해 「이 칸에서 이쪽으로 가면 얼마나 좋은가」입니다. 이 실험에서는 칸마다 방향 넷의 Q 를 표 하나에 적어 둡니다(30칸 × 4방향 = 120개). 이 표에서 칸마다 Q 가 가장 큰 방향을 고르면 그것이 정책(화살표)이고, 그 가장 큰 값이 그 칸의 가치입니다.
Q 값들 사이에는 이런 관계가 있습니다.
Q(지금 칸, 이 방향) = 이번 걸음의 보상 + γ × (도착한 칸에서 고를 수 있는 가장 큰 Q)
「지금 이쪽으로 가는 값은, 한 걸음의 보상에 다음 칸에서부터의 가장 좋은 값을 할인해 더한 것」이라는 뜻입니다. 이것을 벨만 식이라고 부릅니다. 미끄러운 바닥처럼 운이 끼면 오른쪽을 여러 결과의 평균으로 봅니다.
처음에는 Q 를 모르니 모두 0 에서 시작합니다. 한 걸음 걸을 때마다 방금의 Q 를 벨만 식의 오른쪽(목표)으로 조금씩 옮깁니다. 이것이 Q 학습입니다.
Q(s,a) ← Q(s,a) + α × (보상 + γ × 다음 칸의 가장 큰 Q − Q(s,a))
- 괄호 안은 「새로 본 목표 − 알고 있던 값」, 곧 틀린 만큼입니다.
- α(알파, 학습률)는 그 차이를 얼마나 받아들일지입니다. α = 1 이면 목표로 바로 바꾸고, α = 0.1 이면 10% 만 옮깁니다.
- 다음 칸이 도착이나 함정이면 그 뒤가 없으므로 「다음 칸의 가장 큰 Q」를 0 으로 둡니다.
- 실제 다음 걸음을 무작위로 하더라도, 목표에는 다음 칸의 가장 큰 Q 를 씁니다. 「다음부터는 가장 좋게 움직인다면」의 값을 배운다는 뜻입니다.
이 식이 조각마다 왜 그렇게 생겼는지는 아래 「식이 만들어지는 과정」에서 그림으로 한 단계씩 봅니다.
보상은 도착과 함정에서만 크게 나옵니다. 그래서 값은 그 칸 바로 앞에서 처음 생기고, 그 칸을 다음 칸으로 삼는 이웃이 갱신될 때 한 칸씩 거꾸로 퍼져 나갑니다. 도착에서 출발 쪽으로 초록이 번지는 모습이 실험에서 그대로 보입니다.
해 볼 것. ① 「처음부터」를 누르고 「한 걸음」을 누르세요. 설명 줄에 Q(지금 칸, …) ← 0 + 0.5 × (−0.1 + 0.9 × 0 − 0) = −0.05 가 나옵니다. 모든 값이 0 이라 첫 걸음은 어느 쪽으로 가든 −0.05 가 됩니다. 「한 걸음」을 몇 번 더 누르며 숫자가 바뀌는 것을 보세요. ② 「미로」를 고르고 「한 에피소드」를 한 번씩 누르세요. 첫 에피소드는 71걸음 만에 함정에 빠지고, 둘째 에피소드는 200걸음이 되도록 끝 칸을 못 찾습니다. 셋째 에피소드에 44걸음 만에 처음 도착하는데, 이때 초록이 생기는 칸은 도착 바로 위 한 칸뿐입니다. 열 에피소드가 끝나면 초록 칸이 다섯 개로 늘어, 도착에서 위로, 다시 왼쪽으로 길을 따라 거꾸로 번져 있습니다.
식이 만들어지는 과정: Q 학습의 갱신 식
4절의 갱신 식을 기호로 적으면 Q(s,a) ← Q(s,a) + α [r + γ maxₐ′ Q(s′,a′) − Q(s,a)] 입니다. s 는 지금 칸, a 는 고른 방향, r 은 받은 보상, s′ 은 걸어서 닿은 다음 칸, a′ 은 s′ 에서 고를 수 있는 방향입니다. maxₐ′ Q(s′,a′) 는 「a′ 에 넷을 다 넣어 보고 가장 큰 Q」입니다. 이 식을 한 조각씩 만들어 봅니다. 장면은 실험의 처음 화면(쉬운 길, α = 0.5, γ = 0.9, ε = 0.1)에서 일곱째 에피소드의 50번째 걸음에 실제로 일어난 갱신입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 아래 수직선의 막대와 점이 그만큼 바뀌고, 까닭이 나옵니다.
위 띠의 세모 넷은 실험과 같이 위·오른쪽·아래·왼쪽으로 갈 때의 Q 입니다. 아래 「목표」 줄은 주황 막대(보상 r)에 초록 막대(s′ 에서부터의 몫)를 이어 붙인 것이고, 검은 눈금이 지금의 목표입니다. 「Q(s,a)」 줄의 파란 점은 알던 값, 보라 화살표는 목표까지의 오차입니다. 이 그림은 실험의 막대를 바꿔도 그대로입니다.
마지막 식은 Q(s,a) ← (1 − α) × Q(s,a) + α × 목표 로 바꿔 쓸 수 있습니다. 새 값은 알던 값과 목표를 1 − α 대 α 로 섞은 것입니다. 이 장면에서는 0.5 × 2.2 + 0.5 × 6.65 = 4.425 입니다. 그래서 α 가 고정이면 Q 는 지금까지 본 목표들의 평균(최근 것에 더 무게를 둔 평균) 쪽으로 갑니다. 또 오차가 0 이 되는 곳, 곧 Q(s,a) = r + γ maxₐ′ Q(s′,a′) 가 4절의 벨만 식입니다(미끄러운 바닥에서는 평균으로 보아). Q 학습은 걸음마다 벨만 식이 맞지 않는 만큼을 조금씩 줄여 가는 방법입니다.
5. 손으로 따라 풀기: 칸 셋짜리 복도
칸 셋짜리 복도 [A 출발] [B] [도착 +10] 에서 에이전트가 늘 오른쪽으로만 간다고 합시다. 실험의 처음 값과 같게 α = 0.5, γ = 0.9, 걸음 벌점 0.1 이고, Q 는 모두 0 에서 시작합니다.
- 에피소드 1, A → B. 보상 −0.1, B 의 가장 큰 Q 는 0.
Q(A,→) ← 0 + 0.5 × (−0.1 + 0.9 × 0 − 0) = −0.05 - 에피소드 1, B → 도착. 보상 +10, 도착은 끝 칸이라 다음 값 0.
Q(B,→) ← 0 + 0.5 × (10 + 0 − 0) = 5 - 에피소드 2, A → B. 이제 B 에 5 가 있습니다.
Q(A,→) ← −0.05 + 0.5 × (−0.1 + 0.9 × 5 − (−0.05)) = −0.05 + 0.5 × 4.45 = 2.175 - 에피소드 2, B → 도착.
Q(B,→) ← 5 + 0.5 × (10 − 5) = 7.5 - 에피소드 3.
Q(A,→) ← 2.175 + 0.5 × (−0.1 + 0.9 × 7.5 − 2.175) = 4.4125,Q(B,→) ← 7.5 + 0.5 × (10 − 7.5) = 8.75
| 에피소드가 끝난 뒤 | Q(A,→) | Q(B,→) |
|---|---|---|
| 처음 | 0 | 0 |
| 에피소드 1 | −0.05 | 5 |
| 에피소드 2 | 2.175 | 7.5 |
| 에피소드 3 | 4.4125 | 8.75 |
| 끝없이 하면 | 8.9 (= −0.1 + 0.9 × 10) | 10 |
두 가지가 보입니다. 첫째, 도착에 가까운 B 가 먼저 배우고 A 는 한 에피소드 늦게 배웁니다. 에피소드 1 에서 A 를 갱신할 때 B 는 아직 0 이었기 때문입니다. 값이 끝에서 거꾸로 퍼진다는 것이 이것입니다. 둘째, α = 0.5 라서 B 와 참값 10 의 차이가 에피소드마다 절반이 됩니다(5 → 2.5 → 1.25).
6. 탐험과 활용
슬롯머신(손잡이를 당기면 확률로 돈이 나오는 기계)이 여러 대 있다고 합시다. 몇 번 당겨 보니 1번이 가장 잘 나왔습니다. 계속 1번만 당길까요, 덜 당겨 본 2번, 3번도 당겨 볼까요? 1번만 당기면(활용) 2번이 사실 더 좋아도 영영 모릅니다. 다른 것만 당기면(탐험) 이미 아는 좋은 것을 버립니다. 이 맞바꿈이 탐험과 활용의 맞바꿈입니다. 이 문제를 책에서는 「멀티암드 밴딧(multi-armed bandit)」라고 부릅니다. 슬롯머신의 별명 「외팔이 강도」에서 온 이름입니다.
이 실험은 가장 단순한 방법인 ε-그리디(ε-greedy)를 씁니다. 걸음마다 확률 ε 로 아무 방향이나 고르고(탐험), 나머지는 Q 가 가장 큰 방향을 고릅니다(활용). ε = 0.1 이면 열 걸음에 한 번꼴로 무작위입니다.
ε = 0 이어도 처음에는 꽤 돌아다닙니다. 해 본 방향은 걸음 벌점 때문에 대개 0 보다 작아지고, 안 해 본 방향은 0 그대로라 더 좋아 보이기 때문입니다(낙관적 초깃값). 하지만 한번 + 값이 생긴 길에서는 0 인 방향을 다시 고르지 않습니다. 그 뒤에 더 좋은 길이 생겨도 모릅니다.
해 볼 것. ① 「미로」를 고르고 ε 을 0 으로 놓은 뒤 「100 에피소드」를 누르세요. 13걸음 길을 배웁니다. ② 「벽」 도구로 위에서 셋째 줄, 왼쪽에서 다섯째 칸의 벽을 누르세요. 벽이 지워지고 설명 줄의 가장 짧은 길이 9걸음으로 바뀝니다. ③ 「100 에피소드」를 두 번 더 눌러도 화살표는 13걸음 길 그대로입니다. 지워진 벽 쪽으로 가 보는 일이 다시는 없기 때문입니다. ④ ε 을 0.1 로 올리고 「100 에피소드」를 누르면 9걸음 지름길로 바뀝니다. 처음부터 ε 이 0.1 이었다면 벽을 지운 뒤 「100 에피소드」 한 번에 9걸음 길을 찾습니다.
7. 미끄러운 바닥: 위험을 셈에 넣기
「미끄러움」을 p 로 두면, 고른 방향으로 갈 확률이 1 − p 이고 왼쪽 옆과 오른쪽 옆으로 미끄러질 확률이 p/2 씩입니다. 같은 칸에서 같은 행동을 해도 결과가 달라집니다. 이제 Q 는 「평균으로 보아」 앞으로 받을 보상의 합입니다. 함정 옆을 걸으면 걸음마다 함정에 빠질 위험이 있고, Q 에 그 위험이 들어갑니다.
「함정 옆 지름길」은 맨 아래 줄이 모두 함정이고, 출발과 도착이 그 바로 위 줄의 양 끝에 있습니다. 함정 바로 위 줄을 따라가면 5걸음, 한 줄 위로 돌아가면 7걸음입니다. 미끄러움이 20% 면 함정 쪽으로 미끄러질 확률이 걸음마다 10% 라서, 함정 옆을 다섯 걸음 걷고도 빠지지 않을 확률은 0.9⁵ ≈ 0.59 뿐입니다.
해 볼 것. ① 「함정 옆 지름길」을 고르고 「100 에피소드」를 누르세요. 화살표는 함정 바로 위 줄을 따라가는 5걸음 길입니다. 그래도 설명 줄을 보면 최근 20 에피소드 가운데 3 에피소드는 함정에 빠졌습니다. 탐험으로 무작위로 아래를 고른 에피소드입니다. Q 학습은 「다음부터는 가장 좋게 움직인다면」의 값을 배우므로, 탐험하다 빠지는 일은 길을 고를 때 셈에 넣지 않습니다. ② 미끄러움을 20% 로 놓고 「처음부터」, 「100 에피소드」를 누르세요. 출발에서 한 줄 위로 올라가 함정에서 떨어진 7걸음 길로 돌아갑니다. ③ 미끄러운 바닥에서는 같은 걸음도 결과가 달라서 α 가 0.5 처럼 크면 값이 크게 흔들립니다. 「100 에피소드」를 한 번 더 누르면 화살표가 맴도는 곳이 생깁니다. α 를 0.2 로 낮추고 「처음부터」 하면 「100 에피소드」를 열 번 누르는 동안 내내 7걸음 길을 지킵니다.
8. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 보상만 주고 정답은 주지 않는다 | 「어떻게」는 에이전트가 해 보며 찾는다. 무엇을 바라는지는 보상으로만 전해진다 |
G = r₁ + γ r₂ + γ² r₃ + … | 늘리려는 것은 할인한 보상의 합. γ 가 작을수록 가까운 것만 본다 |
Q(s,a) = r + γ × max Q(s′, ·) (벨만 식) | 값은 끝(보상)에서 거꾸로, 갱신 한 번에 한 칸씩 퍼진다 |
| 탐험 없이는 더 좋은 길을 모른다 | 해 본 것 가운데서만 고르면 처음 찾은 길에 매달린다 |
| 표 방식 Q 학습은 가장 좋은 Q 로 다가간다 | 모든 칸의 모든 행동을 끝없이 되풀이해 해 보고 학습률을 알맞게 줄여 가면 그렇다는 증명이 있다(Watkins, Dayan 1992). 이 실험은 α 를 고정해 두어서, 미끄러운 바닥에서는 값이 흔들린다 |
9. 표로는 안 되는 큰 문제: 신경망으로 Q 나 정책을 나타내기
표 방식은 상태와 행동마다 숫자 하나를 둡니다. 이 격자는 120개면 됩니다. 하지만 게임 화면의 픽셀을 상태로 보면 상태가 셀 수 없이 많고, 같은 화면을 두 번 보는 일도 드뭅니다. 표를 만들 수도, 채울 수도 없습니다. 그래서 표 대신 상태를 넣으면 값이나 행동을 내는 함수를 신경망으로 만들고, 그 가중치를 학습합니다. 비슷한 상태에는 비슷한 값이 나오므로 처음 보는 상태에도 쓸 만한 답을 냅니다.
DQN(심층 Q 신경망). 상태를 넣으면 행동마다의 Q 를 내는 신경망입니다. 갱신 식의 「보상 + γ × 다음 상태의 가장 큰 Q」를 목표로 삼아, 신경망의 답이 목표에 가까워지도록 경사 하강으로 가중치를 고칩니다. Mnih 등(2015)은 이 방법으로 아타리 2600 게임 49개를 화면의 픽셀과 점수만 보고 배우게 했고, 같은 방법과 설정으로 사람 전문 시험자와 견줄 만한 수준에 닿았습니다. 학습이 흔들리지 않도록 두 가지를 더했습니다. 지난 걸음들을 모아 두었다가 무작위로 꺼내 배우기(경험 재생), 목표를 계산하는 신경망을 따로 두고 가끔만 새로 맞추기(목표 신경망)입니다.
정책 기울기. Q 를 거치지 않고, 상태를 넣으면 행동마다의 확률을 내는 신경망(정책)을 바로 학습합니다. 한 에피소드를 해 보고 보상의 합이 컸던 에피소드의 행동은 확률을 올리고, 작았던 에피소드의 행동은 내립니다. 가장 오래된 꼴은 REINFORCE(Williams 1992)입니다. 로봇 관절의 힘처럼 행동이 연속된 값이어도 쓸 수 있습니다. 정책과 가치를 같이 배우는 방법(액터-크리틱)도 많이 씁니다.
상태가 하나뿐인 아주 작은 예로 이 규칙을 한 에피소드씩 돌려 봅니다. 상태가 하나라 신경망 대신 행동 넷마다 선호도 θ 를 하나씩 두고, θ 넷을 softmax 에 넣어 확률을 만듭니다(넷의 합이 1, θ 가 클수록 확률이 큼). 에피소드가 끝나면 넷의 θ 를 모두 이렇게 고칩니다.
θ ← θ + 학습률 × (보상 − 기준) × (뽑힌 행동이면 1 − p, 아니면 −p)
- θ: 행동 하나의 선호도. 넷 다 0 에서 시작합니다.
- 학습률: 한 에피소드에 얼마나 크게 고칠지. 이 실험은 0.05 입니다.
- 보상: 그 에피소드에서 받은 보상의 합.
- 기준: 지난 에피소드들의 보상 합의 평균(첫 에피소드는 0). 보상이 기준보다 크면 괄호가 + 이고, 작으면 − 입니다.
- p: 고치기 전 그 행동의 확률. 뽑힌 행동의 θ 는 (보상 − 기준) 쪽으로 1 − p 를 곱한 만큼, 뽑히지 않은 행동의 θ 는 반대쪽으로 p 를 곱한 만큼 움직입니다.
지어낸 규칙: 에피소드마다 받는 보상의 합은 고른 행동의 평균(위 +1, 오른쪽 +3, 아래 −1, 왼쪽 +2)에서 ±2 안으로 고르게 흔들립니다(소수 첫째 자리까지). 에이전트는 이 평균을 모르고, 뽑아 본 에피소드의 보상 합만 봅니다. 맨 위 줄은 초록이면 보상이 기준보다 크고 주황이면 작습니다. 늘 같은 시드라 같은 에피소드가 나옵니다. 「50 에피소드」를 몇 번 누르면 가장 좋은 「오른쪽」의 막대가 커지는 것이 보입니다.
10. 어려운 점
- 보상이 드물다. 대부분의 걸음에서 아무 소식이 없고 끝에서만 점수가 나오면, 무작위로 돌아다녀서는 그 점수에 닿기 어렵습니다. 미로의 첫 두 에피소드가 도착을 못 찾은 것과 같습니다. 칸이 수백만이면 훨씬 어렵습니다.
- 보상을 잘못 주면 엉뚱한 것을 배운다. 에이전트는 우리가 바란 것이 아니라 우리가 준 점수를 늘립니다. 실험에서 걸음 벌점을 5 로 올리고 「처음부터」, 「100 에피소드」를 누르면, 쉬운 길에서는 도착 대신 5걸음 만에 함정으로 갑니다. 미로에서는 9걸음 만에 함정으로 갑니다. 걸음마다 5점씩 잃느니 −10 을 받고 빨리 끝내는 쪽이 점수가 높기 때문입니다. 「빨리 도착하라」고 준 벌점이 「빨리 끝내라」가 됐습니다. 벌점이 4 일 때는 세 지도 모두 도착으로 갑니다.
- 많이 해 봐야 한다. 이 작은 격자에서도 수십에서 수백 에피소드가 듭니다. 실제 로봇은 이렇게 많이 넘어져 볼 수 없어서, 흉내 낸 세계(시뮬레이터)에서 먼저 배우는 일이 많습니다.
- 학습이 흔들린다. 미끄러운 바닥에서 α 가 크면 값이 흔들렸듯이, 신경망과 함께 쓰면 더 흔들리기 쉽습니다. 경험 재생과 목표 신경망 같은 장치가 그래서 나왔습니다.
어디에 쓰나
- 게임. 점수가 곧 보상이라 잘 맞습니다. 앞의 DQN 은 화면만 보고 게임을 배웠습니다. 바둑 같은 판 게임에서도 스스로 두며 배우는 방식이 쓰였습니다.
- 로봇. 걷기, 물건 집기처럼 「잘 됐나」는 점수로 매기기 쉬운데 「관절을 어떻게 움직여야 하나」는 사람이 적기 어려운 일에 씁니다. 시뮬레이터에서 배운 뒤 실제 기계로 옮깁니다.
- 추천. 클릭 한 번이 아니라 오래 만족하는 것을 보상으로 두면, 오늘의 추천이 내일 사용자의 상태를 바꾸는 이어진 결정 문제가 됩니다. 이렇게 보면 강화학습으로 다룰 수 있습니다.
- LLM 을 사람의 선호에 맞추기(RLHF). 사람 피드백 강화학습은 세 단계입니다. ① 같은 질문에 대한 모델의 답 여러 개를 사람에게 보여 주고 어느 쪽이 나은지 순위를 매기게 합니다. ② 이 선택을 모아, 답을 보고 「사람이 얼마나 좋아할지」를 점수로 내는 모델(보상 모델)을 학습합니다. ③ LLM 이 답을 쓰면 보상 모델이 점수를 매기고, 그 점수를 보상으로 삼아 LLM 을 강화학습(정책 기울기 계열의 PPO)으로 더 학습시킵니다. 처음 모델에서 너무 멀어지지 않게 하는 벌점도 같이 줍니다. 여기서 한 에피소드는 질문 하나에 답 하나를 쓰는 것이고, 보상은 답을 다 쓴 뒤에 한 번 받습니다. Ouyang 등(2022)은 이렇게 다듬은 작은 모델의 답을, 다듬지 않은 100배 큰 모델의 답보다 사람들이 더 좋아했다고 보고했습니다.
자주 묻는 것
강화학습은 지도 학습과 무엇이 다른가요?
지도 학습은 문제마다 정답을 받고, 강화학습은 정답 없이 행동한 결과의 점수(보상)만 받습니다. 그래서 강화학습은 스스로 해 보며 자료를 모으고, 늦게 오는 점수를 앞의 행동들에 나눠 주는 일까지 해야 합니다.
Q 값은 무엇인가요?
어떤 상태에서 어떤 행동을 하고, 그 뒤로는 가장 좋게 움직일 때 앞으로 받을 보상의 합(먼 것은 할인한 것)입니다. 상태마다 Q 가 가장 큰 행동을 고르면 그것이 정책이 됩니다.
할인율 γ 는 왜 쓰나요?
먼 보상을 조금 깎아 세려고 씁니다. 같은 보상이면 빨리 받는 쪽을 좋게 치게 되고, 끝이 없는 일에서도 보상의 합이 끝없이 커지지 않습니다. γ 가 작을수록 가까운 보상만 봅니다.
탐험은 왜 필요한가요?
해 본 것 가운데 가장 좋은 것만 고르면, 해 보지 않은 더 좋은 길을 영영 모릅니다. 그래서 가끔(확률 ε) 일부러 아무 행동이나 해 봅니다.
LLM 도 강화학습으로 학습하나요?
학습의 대부분은 글의 다음 토큰을 맞히는 방식으로 합니다. 그 뒤에 사람이 고른 답으로 보상 모델을 만들고, 그 보상으로 모델을 더 다듬는 단계(사람 피드백 강화학습, RLHF)를 더하기도 합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 해 보고 보상으로 배우기 | 강화학습(reinforcement learning, RL) |
| 보고, 고르고, 배우는 쪽 | 에이전트(agent) |
| 에이전트 바깥의 모든 것 | 환경(environment) |
| 상태 / 행동 / 보상 | state(s) / action(a) / reward(r) |
| 상태마다 행동을 정한 규칙 | 정책(policy, π) |
| 할인한 보상의 합 | 리턴(return, G), 누적 보상 |
| 할인율 | discount factor(γ) |
| 가치 | 상태 가치 V(s)(state value), 행동 가치 Q(s, a)(action value) |
| 한 판 | 에피소드(episode) |
| 칸마다 Q 를 적은 표 | Q 테이블(Q-table), 표 방식(tabular) |
| 지금 값 = 보상 + γ × 다음 값 | 벨만 방정식(Bellman equation) |
| 목표 − 알던 값(틀린 만큼) | 시간차 오차(temporal-difference error, TD error) |
| 학습률 | learning rate, step size(α) |
| 해 보지 않은 것 해 보기 / 아는 좋은 것 쓰기 | 탐험(exploration) / 활용(exploitation) |
| 확률 ε 로 무작위, 나머지는 가장 좋은 것 | ε-그리디(ε-greedy). 늘 가장 좋은 것만 고르면 그리디(greedy) |
| 슬롯머신 여러 대 문제 | 멀티암드 밴딧(multi-armed bandit) |
| 안 해 본 것이 좋아 보이는 처음 값 | 낙관적 초깃값(optimistic initial values) |
| 미끄러운 바닥 | 확률적 환경(stochastic environment), 전이 확률(transition probability) |
| 「다음부터 가장 좋게 움직인다면」으로 배우기 | 오프 폴리시(off-policy) 학습 |
| Q 를 내는 신경망 | 심층 Q 신경망(deep Q-network, DQN) |
| 지난 걸음을 모아 다시 꺼내 배우기 | 경험 재생(experience replay) |
| 행동 확률을 바로 고치기 | 정책 기울기(policy gradient), REINFORCE, 액터-크리틱(actor-critic) |
| 사람의 선호로 만든 점수 모델 | 보상 모델(reward model) |
| 사람 피드백 강화학습 | RLHF(reinforcement learning from human feedback) |
| 준 점수의 빈틈을 파고듦 | 보상 해킹(reward hacking), 명세 게이밍(specification gaming) |
| 흉내 낸 세계 | 시뮬레이터(simulator) |
출처
- Sutton, Barto (2018). Reinforcement Learning: An Introduction, 2판. MIT Press. 저자가 책 전체를 공개해 두었습니다. 2장(멀티암드 밴딧, 낙관적 초깃값), 3장(보상의 합, 할인, 벨만 식), 6장(Q 학습, 절벽 걷기 예), 13장(정책 기울기).
- Watkins, Dayan (1992). Q-learning. Machine Learning 8. 표 방식 Q 학습이 가장 좋은 Q 로 다가간다는 증명.
- Mnih 외 (2015). Human-level control through deep reinforcement learning. Nature 518. DQN.
- Williams (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning 8. REINFORCE.
- Christiano 외 (2017). Deep reinforcement learning from human preferences. 사람이 고른 선호로 보상 모델을 배우기.
- Ouyang 외 (2022). Training language models to follow instructions with human feedback. LLM 의 RLHF.
- Schulman 외 (2017). Proximal Policy Optimization Algorithms. PPO.