LLM 은 어떻게 학습하나: 다음 토큰 예측
LLM 은 글을 앞에서부터 읽으며 바로 다음 토큰을 맞히는 연습을 아주 많이 해서 만들어집니다. 자리마다 모델이 정답에 준 확률을 바꿔 보며, 학습이 줄이는 숫자(손실)와 모델을 비교하는 숫자(퍼플렉서티)가 어떻게 움직이는지 보세요.
한 줄 답. 처음의 큰 학습(사전 학습)은 글의 다음 토큰 예측(next-token prediction)입니다. 정답은 글에 이미 적힌 다음 토큰이라 사람이 따로 매기지 않습니다. 자리마다 모델이 정답에 준 확률 p 로 손실 −ln p 를 내고, 그것을 평균 낸 값을 줄입니다. 그 평균에 exp 를 씌운 퍼플렉서티는 「자리마다 토큰 몇 개 가운데 고르는 셈인가」를 뜻합니다.
| 자리 | 앞의 토큰 → 정답 | p | −ln p |
|---|---|---|---|
| 평균 손실 | |||
| 퍼플렉서티 exp(평균 손실) | |||
막대를 위아래로 끌거나 표의 숫자 칸(0.01 ~ 1)을 고치세요. 작게 줄인 본보기입니다. 진짜 모델 없이 확률을 손으로 정하고, 어휘(모델이 아는 토큰 전부)도 20 개뿐이라고 칩니다. 진짜 LLM 은 어휘가 훨씬 크고, 확률은 모델이 계산해 냅니다. 토큰도 낱말 조각으로 단순하게 나눴습니다(실제로 나누는 법은 토큰화). 막대 아래 주황 숫자가 그 자리의 손실, 보라 점선이 고르게 찍는 모델의 확률 1/V 입니다.
해 볼 것. ① 처음 값에서 평균 손실은 1.07, 퍼플렉서티는 2.92 입니다. ② 「모두 고르게 찍는 모델(V = 20)」을 누르면 막대가 모두 보라 점선(0.05)에 붙고, 자리마다 −ln p 가 3, 평균 손실 3, 퍼플렉서티가 정확히 20 이 됩니다. ③ 「처음 값」으로 돌아와 다섯째 자리 「를」(0.9)을 0.8 로 내리면 퍼플렉서티는 2.98 로 조금만 오릅니다. 둘째 자리 「아침」(0.1)을 0.01 로 내리면 4.28 로 크게 오릅니다. ④ 둘째 자리를 1 로 올리면 1.99 입니다. 막대를 모두 1 로 올리면 손실 0, 퍼플렉서티 1 입니다.
1. 사전 학습: 글이 곧 정답
LLM 이 보는 글은 토큰(낱말이나 낱말 조각)의 줄입니다. 모델은 앞의 토큰들을 받아 어휘의 모든 토큰에 확률을 매깁니다. 「나는 아침」 다음에는 「에」가 0.6, 「을」이 0.1, … 하는 식이고 합은 1 입니다. 학습은 이 확률을 고쳐서, 글에 실제로 나온 다음 토큰의 확률이 커지게 합니다.
정답을 사람이 매기지 않는다는 점이 중요합니다. 「다음 토큰」은 글 안에 이미 적혀 있으니, 표시가 없는 글 묶음(웹 글, 책, 코드 등) 그대로 문제와 답이 됩니다. 이렇게 자료가 스스로 정답을 주는 학습을 자기 지도 학습이라고 부릅니다. 이 처음의 큰 학습이 사전 학습입니다.
손실은 자리마다 정답 토큰에 준 확률 p 의 −ln 입니다. 정답이 하나뿐일 때의 교차 엔트로피와 같습니다. 다른 토큰의 확률은 손실 식에 바로 나오지 않지만, 확률의 합이 1 이라서 정답의 확률을 올리면 나머지는 함께 내려갑니다.
2. 식이 만들어지는 과정
위 실험에서 막대를 바꾸면 이 그림과 숫자도 같이 바뀝니다. 식의 주황 바탕이 이번 단계에 붙은 조각입니다.
- 정답의 확률
pₜ. t 는 자리 번호입니다. 처음 값은 0.2, 0.1, 0.6, 0.3, 0.9, 0.5 입니다. - 자리마다
−ln pₜ. 확신하고 맞히면(p = 1) 0, 정답을 낮게 볼수록 커집니다. 문장 전체의 확률은 자리마다의 p 를 곱한 것이고, ln 은 곱을 합으로 바꿔 자리마다 따로 더할 수 있게 합니다. 빼기표는 손실을 0 이상의 숫자로 만듭니다. - 평균
L = (1/N) Σ −ln pₜ. N 은 자리의 수(여기서 6)입니다. 합이 아니라 평균이라 글의 길이와 상관없이 비교할 수 있습니다. 학습은 이 L 을 경사 하강법으로 줄입니다. - exp 를 씌워
PPL = exp(L). ln 으로 내려갔던 눈금을 확률 쪽으로 되돌립니다.exp(−L)은 p 들의 기하 평균이라, 퍼플렉서티는1 ÷ (p 들의 기하 평균)입니다. 모든 자리에서 확률 1/k 로 맞히는 모델의 퍼플렉서티가 정확히 k 이므로, 퍼플렉서티는 「자리마다 k 개 가운데 고르게 찍는 셈」으로 읽습니다.
해 볼 것. 처음 값으로 ④ 까지 넘기면 L = 1.07, 점선 1/PPL = 0.34, PPL = 2.92 입니다. ④ 에서 위의 「모두 고르게 찍는 모델」을 누르면 막대와 점선이 모두 0.05 에 겹치고 PPL = 20 이 됩니다.
3. 손으로 풀어 보기
실험의 처음 값으로 셈을 따라가 봅니다. ln 은 밑이 e(약 2.718)인 로그입니다.
| 자리 | 앞의 토큰 → 정답 | p | −ln p |
|---|---|---|---|
| 1 | <시작> → 나는 | 0.2 | 1.609 |
| 2 | … 나는 → 아침 | 0.1 | 2.303 |
| 3 | … 아침 → 에 | 0.6 | 0.511 |
| 4 | … 에 → 커피 | 0.3 | 1.204 |
| 5 | … 커피 → 를 | 0.9 | 0.105 |
| 6 | … 를 → 마셨다 | 0.5 | 0.693 |
| 합 | 6.425 | ||
- 평균 손실.
6.425 ÷ 6 ≈ 1.071. - 퍼플렉서티.
exp(1.071) ≈ 2.92. 자리마다 토큰 3 개쯤 가운데 고르는 만큼 헷갈린다는 뜻입니다. - 비교하기. 어휘 20 개를 고르게 찍으면 자리마다
−ln(1/20) = ln 20 ≈ 2.996, 평균도 2.996, 퍼플렉서티는exp(2.996) ≈ 20입니다. 처음 값의 모델은 고르게 찍기보다 훨씬 덜 헷갈립니다.
4. 앞만 보게 가리고, 모든 자리를 한 번에
학습할 때 문장을 한 자리씩 따로 넣지 않습니다. 문장 전체를 한 번 넣고 모든 자리의 다음 토큰을 동시에 맞힙니다. 입력과 정답은 한 칸씩 어긋난 같은 글입니다.
입력: <시작> 나는 아침 에 커피 를
정답: 나는 아침 에 커피 를 마셨다
그런데 한 번에 다 넣으면 「아침」 자리에서 뒤의 「에」를 보고 베낄 수 있습니다. 그래서 어텐션에서 자리마다 자기와 앞만 보게 가립니다. 뒤 자리의 점수를 −∞ 로 바꿔 소프트맥스 뒤 비중이 0 이 되게 합니다. 이것이 인과 마스크입니다(트랜스포머의 디코더).
입력에는 모델이 앞에서 낸 답이 아니라 진짜 글의 앞 토큰을 넣습니다. 이것을 교사 강요(teacher forcing)라고 부릅니다. 앞 자리의 답을 기다릴 필요가 없으니 마스크와 함께 모든 자리를 한 번에 계산할 수 있습니다. 다 배운 뒤 글을 만들어 낼 때는 진짜 다음 글이 없으므로, 한 토큰을 샘플링해 입력 끝에 붙이고 다시 돌리기를 되풀이합니다.
같은 문장을 학습할 때(왼쪽)와 다 배운 뒤 글을 만들 때(오른쪽)로 나란히 놓았습니다. 통과는 모델을 한 번 돌리는 것입니다. 테두리 색은 토큰이 온 곳입니다: 초록 진짜 글, 보라 모델이 낸 토큰, 회색 시작 표시. 주황 화살표는 그 자리의 손실입니다. 이 실험은 모델을 돌리지 않습니다. 만들기 쪽의 토큰도 미리 정해 둔 것(위 실험과 같은 문장)입니다.
5. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 손실은 0 이상, 0 은 확률 1 일 때뿐 | 정답을 확신하고 맞혀야 손실이 0 이다. 퍼플렉서티는 그때 1 이고 그보다 작아지지 않는다 | 막대를 모두 1 로 |
| 낮은 확률이 손실을 크게 키운다 | −ln 은 0 근처에서 가파르다. 확률이 10 배 줄면 그 자리 손실이 ln 10 ≈ 2.3 늘어난다 | 0.9 → 0.8 은 2.92 → 2.98, 0.1 → 0.01 은 2.92 → 4.28 |
| 고르게 찍으면 퍼플렉서티 = V | 어휘 V 개에 똑같이 1/V 를 주면 퍼플렉서티가 정확히 V. 정답을 그보다 낮게 보면 V 보다 커진다 | 「모두 고르게 찍는 모델」, 막대를 보라 점선 아래로 |
| 로그의 밑을 바꿔도 퍼플렉서티는 같다 | 밑이 2 인 로그로 재면 손실은 비트 단위의 다른 숫자가 되지만, 2 를 그 평균만큼 거듭제곱하면 같은 퍼플렉서티가 나온다 | |
| 토크나이저가 다르면 비교할 수 없다 | 같은 글이라도 토큰을 나누는 법에 따라 자리 수와 어휘가 달라 퍼플렉서티의 뜻이 바뀐다 |
6. 사전 학습 뒤의 단계
사전 학습만 한 모델은 「글을 그럴듯하게 잇는 기계」라서, 질문을 받으면 답하는 대신 비슷한 질문을 더 이어 쓰기도 합니다. 그래서 보통 두 단계를 더 거칩니다(출처: Ouyang 외).
- 지도 미세 조정(supervised fine-tuning, SFT). 사람이 쓴 「지시와 좋은 답」 짝으로 같은 다음 토큰 예측을 더 합니다.
- 사람의 선호로 조정. 같은 지시에 대한 답 여럿을 사람이 비교해 고른 자료로, 사람이 더 낫다고 본 답을 낼 확률을 높입니다. 고른 자료로 보상 모델(reward model)을 만들고 강화 학습으로 맞추는 방법(RLHF)이 대표적입니다.
내 자료로 모델을 더 학습시키는 방법을 고르는 일(전부 고칠지, 일부만 고칠지)은 전이 학습과 LoRA 쪽에서 다룹니다.
7. 인코더형과 디코더형
- 디코더형: 다음 토큰 예측. 이 쪽의 방식입니다. 앞만 보고 다음을 맞히니, 배운 그대로 글을 이어 쓸 수 있습니다. 글을 만들어 내는 LLM 이 쓰는 꼴입니다.
- 인코더형: 마스크 언어 모델링(masked language modeling, MLM). 입력 토큰 몇 개를
[MASK]로 가리고 원래 토큰을 맞힙니다(BERT, 출처). 마스크로 앞만 보게 막지 않으므로 가린 자리의 앞과 뒤를 모두 봅니다. 문장 전체를 본 표현을 얻기 좋아 분류와 찾기에 씁니다. 대신 왼쪽부터 한 토큰씩 이어 쓰는 데는 맞지 않고, 손실이 가린 자리에서만 나옵니다.
8. 언제 무엇을 쓰나
| 학습 방식 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 다음 토큰 예측(디코더형) | 표시 없는 글 그대로 배운다. 배운 그대로 글을 이어 쓴다. 모든 자리가 손실에 들어간다 | 자리마다 뒤의 문맥을 못 본다. 생성은 한 토큰씩이라 길수록 오래 걸린다 | 생성: 대화, 요약, 번역, 코드 쓰기 |
| 마스크 언어 모델링(인코더형) | 앞뒤 문맥을 다 본 표현을 얻는다 | 글을 이어 쓰지 못한다. 가린 자리만 손실에 들어간다 | 분류: 감정·주제 나누기, 글에서 이름 찾기 |
| 대조 학습 | 포지티브(positive: 같은 뜻의 두 문장, 질문과 답)는 가깝게, 네거티브(negative)는 멀게 배워서 벡터 하나로 비슷함을 잰다 | 짝 지은 자료가 필요하다. 글을 만들지 못한다 | 임베딩: 검색, 비슷한 글 찾기, 묶기(임베딩) |
어디에 쓰나
- 학습 곡선 읽기. 학습 중에 평균 손실이 내려가는지 봅니다. 따로 떼어 둔 검증 글의 손실이 오르기 시작하면 과적합입니다.
- 모델 비교하기. 같은 시험 글과 같은 토크나이저라면 퍼플렉서티가 낮은 쪽이 다음 토큰을 더 잘 맞힙니다.
- 낯선 곳 찾기. 자리별 −ln p 가 큰 곳이 모델이 예상하지 못한 토큰입니다.
- 생성. 배운 확률에서 다음 토큰을 하나씩 뽑아 글을 만듭니다(샘플링).
자주 묻는 것
사람이 정답을 매기지 않는데 어떻게 배우나요?
글 자체가 정답입니다. 글의 앞부분을 보여 주고 바로 다음 토큰을 맞히게 하면, 맞혀야 할 토큰은 이미 글 안에 적혀 있습니다. 그래서 사람이 따로 표시하지 않은 많은 글로 학습할 수 있습니다. 이런 방식을 자기 지도 학습이라고 부릅니다.
퍼플렉서티가 낮으면 더 좋은 모델인가요?
같은 시험 글을 같은 토크나이저로 잰 값끼리만 비교할 수 있습니다. 토큰을 나누는 법이 다르면 토큰의 수와 어휘가 달라져 숫자의 뜻이 바뀝니다. 또 퍼플렉서티는 다음 토큰을 얼마나 잘 맞히는지만 말해 줍니다. 지시를 잘 따르는지, 답이 사실인지는 따로 시험합니다.
문장 하나를 배울 때 토큰마다 모델을 따로 돌리나요?
아닙니다. 문장 전체를 한 번 넣고 모든 자리의 다음 토큰을 동시에 맞힙니다. 가리는 마스크가 자리마다 뒤의 토큰을 못 보게 막아서 답을 미리 볼 수 없습니다. 글을 만들어 낼 때(생성)만 한 토큰씩 차례로 냅니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 처음의 큰 학습 | 사전 학습(pre-training) |
| 다음 토큰 맞히기 | 다음 토큰 예측(next-token prediction), 인과적 언어 모델링(causal language modeling), 자기회귀 모델(autoregressive model) |
| 글이 곧 정답 | 자기 지도 학습(self-supervised learning) |
| 모델이 아는 토큰 전부 | 어휘(vocabulary), 크기 V |
| 정답에 준 확률의 −ln | 음의 로그 가능도(negative log-likelihood, NLL), 교차 엔트로피(cross-entropy) |
| 몇 개 가운데 고르는 셈 | 퍼플렉서티(perplexity, PPL) |
| 앞만 보게 가리기 | 인과 마스크(causal mask) |
| 진짜 앞 토큰을 넣기 | 교사 강요(teacher forcing) |
| 가린 낱말 맞히기 | 마스크 언어 모델링(masked language modeling, MLM) |
| 지시 따르기 조정 | 지시 조정(instruction tuning), 지도 미세 조정(supervised fine-tuning, SFT) |
| 사람의 선호로 조정 | 사람 피드백 강화 학습(reinforcement learning from human feedback, RLHF) |
| 짝은 가깝게, 아닌 것은 멀게 | 대조 학습(contrastive learning) |
출처
- Ashish Vaswani 외, Attention Is All You Need, arXiv:1706.03762. 디코더에서 뒤 자리를 −∞ 로 가리는 마스크.
- Jacob Devlin 외, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805. 마스크 언어 모델링과 앞뒤 문맥.
- Long Ouyang 외, Training language models to follow instructions with human feedback, arXiv:2203.02155. 지도 미세 조정과 사람의 선호로 조정.
- Dan Jurafsky, James H. Martin, Speech and Language Processing(3판 초안). 언어 모델의 퍼플렉서티, 교사 강요.