LLM 은 어떻게 학습하나: 다음 토큰 예측

LLM 은 글을 앞에서부터 읽으며 바로 다음 토큰을 맞히는 연습을 아주 많이 해서 만들어집니다. 자리마다 모델이 정답에 준 확률을 바꿔 보며, 학습이 줄이는 숫자(손실)와 모델을 비교하는 숫자(퍼플렉서티)가 어떻게 움직이는지 보세요.

한 줄 답. 처음의 큰 학습(사전 학습)은 글의 다음 토큰 예측(next-token prediction)입니다. 정답은 글에 이미 적힌 다음 토큰이라 사람이 따로 매기지 않습니다. 자리마다 모델이 정답에 준 확률 p 로 손실 −ln p 를 내고, 그것을 평균 낸 값을 줄입니다. 그 평균에 exp 를 씌운 퍼플렉서티는 「자리마다 토큰 몇 개 가운데 고르는 셈인가」를 뜻합니다.

자리앞의 토큰 → 정답p−ln p
평균 손실
퍼플렉서티 exp(평균 손실)

막대를 위아래로 끌거나 표의 숫자 칸(0.01 ~ 1)을 고치세요. 작게 줄인 본보기입니다. 진짜 모델 없이 확률을 손으로 정하고, 어휘(모델이 아는 토큰 전부)도 20 개뿐이라고 칩니다. 진짜 LLM 은 어휘가 훨씬 크고, 확률은 모델이 계산해 냅니다. 토큰도 낱말 조각으로 단순하게 나눴습니다(실제로 나누는 법은 토큰화). 막대 아래 주황 숫자가 그 자리의 손실, 보라 점선이 고르게 찍는 모델의 확률 1/V 입니다.

해 볼 것. ① 처음 값에서 평균 손실은 1.07, 퍼플렉서티는 2.92 입니다. ② 「모두 고르게 찍는 모델(V = 20)」을 누르면 막대가 모두 보라 점선(0.05)에 붙고, 자리마다 −ln p 가 3, 평균 손실 3, 퍼플렉서티가 정확히 20 이 됩니다. ③ 「처음 값」으로 돌아와 다섯째 자리 「를」(0.9)을 0.8 로 내리면 퍼플렉서티는 2.98 로 조금만 오릅니다. 둘째 자리 「아침」(0.1)을 0.01 로 내리면 4.28 로 크게 오릅니다. ④ 둘째 자리를 1 로 올리면 1.99 입니다. 막대를 모두 1 로 올리면 손실 0, 퍼플렉서티 1 입니다.

1. 사전 학습: 글이 곧 정답

LLM 이 보는 글은 토큰(낱말이나 낱말 조각)의 줄입니다. 모델은 앞의 토큰들을 받아 어휘의 모든 토큰에 확률을 매깁니다. 「나는 아침」 다음에는 「에」가 0.6, 「을」이 0.1, … 하는 식이고 합은 1 입니다. 학습은 이 확률을 고쳐서, 글에 실제로 나온 다음 토큰의 확률이 커지게 합니다.

정답을 사람이 매기지 않는다는 점이 중요합니다. 「다음 토큰」은 글 안에 이미 적혀 있으니, 표시가 없는 글 묶음(웹 글, 책, 코드 등) 그대로 문제와 답이 됩니다. 이렇게 자료가 스스로 정답을 주는 학습을 자기 지도 학습이라고 부릅니다. 이 처음의 큰 학습이 사전 학습입니다.

손실은 자리마다 정답 토큰에 준 확률 p 의 −ln 입니다. 정답이 하나뿐일 때의 교차 엔트로피와 같습니다. 다른 토큰의 확률은 손실 식에 바로 나오지 않지만, 확률의 합이 1 이라서 정답의 확률을 올리면 나머지는 함께 내려갑니다.

2. 식이 만들어지는 과정

위 실험에서 막대를 바꾸면 이 그림과 숫자도 같이 바뀝니다. 식의 주황 바탕이 이번 단계에 붙은 조각입니다.

  1. 정답의 확률 pₜ. t 는 자리 번호입니다. 처음 값은 0.2, 0.1, 0.6, 0.3, 0.9, 0.5 입니다.
  2. 자리마다 −ln pₜ. 확신하고 맞히면(p = 1) 0, 정답을 낮게 볼수록 커집니다. 문장 전체의 확률은 자리마다의 p 를 곱한 것이고, ln 은 곱을 합으로 바꿔 자리마다 따로 더할 수 있게 합니다. 빼기표는 손실을 0 이상의 숫자로 만듭니다.
  3. 평균 L = (1/N) Σ −ln pₜ. N 은 자리의 수(여기서 6)입니다. 합이 아니라 평균이라 글의 길이와 상관없이 비교할 수 있습니다. 학습은 이 L 을 경사 하강법으로 줄입니다.
  4. exp 를 씌워 PPL = exp(L). ln 으로 내려갔던 눈금을 확률 쪽으로 되돌립니다. exp(−L) 은 p 들의 기하 평균이라, 퍼플렉서티는 1 ÷ (p 들의 기하 평균) 입니다. 모든 자리에서 확률 1/k 로 맞히는 모델의 퍼플렉서티가 정확히 k 이므로, 퍼플렉서티는 「자리마다 k 개 가운데 고르게 찍는 셈」으로 읽습니다.

해 볼 것. 처음 값으로 ④ 까지 넘기면 L = 1.07, 점선 1/PPL = 0.34, PPL = 2.92 입니다. ④ 에서 위의 「모두 고르게 찍는 모델」을 누르면 막대와 점선이 모두 0.05 에 겹치고 PPL = 20 이 됩니다.

3. 손으로 풀어 보기

실험의 처음 값으로 셈을 따라가 봅니다. ln 은 밑이 e(약 2.718)인 로그입니다.

자리앞의 토큰 → 정답p−ln p
1<시작> → 나는0.21.609
2… 나는 → 아침0.12.303
3… 아침 → 에0.60.511
4… 에 → 커피0.31.204
5… 커피 → 를0.90.105
6… 를 → 마셨다0.50.693
합6.425
  1. 평균 손실. 6.425 ÷ 6 ≈ 1.071.
  2. 퍼플렉서티. exp(1.071) ≈ 2.92. 자리마다 토큰 3 개쯤 가운데 고르는 만큼 헷갈린다는 뜻입니다.
  3. 비교하기. 어휘 20 개를 고르게 찍으면 자리마다 −ln(1/20) = ln 20 ≈ 2.996, 평균도 2.996, 퍼플렉서티는 exp(2.996) ≈ 20 입니다. 처음 값의 모델은 고르게 찍기보다 훨씬 덜 헷갈립니다.

4. 앞만 보게 가리고, 모든 자리를 한 번에

학습할 때 문장을 한 자리씩 따로 넣지 않습니다. 문장 전체를 한 번 넣고 모든 자리의 다음 토큰을 동시에 맞힙니다. 입력과 정답은 한 칸씩 어긋난 같은 글입니다.

입력:  <시작>  나는   아침   에     커피   를
정답:  나는    아침   에     커피   를     마셨다

그런데 한 번에 다 넣으면 「아침」 자리에서 뒤의 「에」를 보고 베낄 수 있습니다. 그래서 어텐션에서 자리마다 자기와 앞만 보게 가립니다. 뒤 자리의 점수를 −∞ 로 바꿔 소프트맥스 뒤 비중이 0 이 되게 합니다. 이것이 인과 마스크입니다(트랜스포머의 디코더).

입력에는 모델이 앞에서 낸 답이 아니라 진짜 글의 앞 토큰을 넣습니다. 이것을 교사 강요(teacher forcing)라고 부릅니다. 앞 자리의 답을 기다릴 필요가 없으니 마스크와 함께 모든 자리를 한 번에 계산할 수 있습니다. 다 배운 뒤 글을 만들어 낼 때는 진짜 다음 글이 없으므로, 한 토큰을 샘플링해 입력 끝에 붙이고 다시 돌리기를 되풀이합니다.

같은 문장을 학습할 때(왼쪽)와 다 배운 뒤 글을 만들 때(오른쪽)로 나란히 놓았습니다. 통과는 모델을 한 번 돌리는 것입니다. 테두리 색은 토큰이 온 곳입니다: 초록 진짜 글, 보라 모델이 낸 토큰, 회색 시작 표시. 주황 화살표는 그 자리의 손실입니다. 이 실험은 모델을 돌리지 않습니다. 만들기 쪽의 토큰도 미리 정해 둔 것(위 실험과 같은 문장)입니다.

5. 꼭 알아야 할 성질

성질쉬운 말실험에서
손실은 0 이상, 0 은 확률 1 일 때뿐정답을 확신하고 맞혀야 손실이 0 이다. 퍼플렉서티는 그때 1 이고 그보다 작아지지 않는다막대를 모두 1 로
낮은 확률이 손실을 크게 키운다−ln 은 0 근처에서 가파르다. 확률이 10 배 줄면 그 자리 손실이 ln 10 ≈ 2.3 늘어난다0.9 → 0.8 은 2.92 → 2.98, 0.1 → 0.01 은 2.92 → 4.28
고르게 찍으면 퍼플렉서티 = V어휘 V 개에 똑같이 1/V 를 주면 퍼플렉서티가 정확히 V. 정답을 그보다 낮게 보면 V 보다 커진다「모두 고르게 찍는 모델」, 막대를 보라 점선 아래로
로그의 밑을 바꿔도 퍼플렉서티는 같다밑이 2 인 로그로 재면 손실은 비트 단위의 다른 숫자가 되지만, 2 를 그 평균만큼 거듭제곱하면 같은 퍼플렉서티가 나온다
토크나이저가 다르면 비교할 수 없다같은 글이라도 토큰을 나누는 법에 따라 자리 수와 어휘가 달라 퍼플렉서티의 뜻이 바뀐다

6. 사전 학습 뒤의 단계

사전 학습만 한 모델은 「글을 그럴듯하게 잇는 기계」라서, 질문을 받으면 답하는 대신 비슷한 질문을 더 이어 쓰기도 합니다. 그래서 보통 두 단계를 더 거칩니다(출처: Ouyang 외).

사람의 선호로 조정 (RLHF) ① 지도 미세 조정 들어가는 자료 사람이 쓴 지시와 좋은 답 바뀌는 것 모델의 가중치 ② 사람이 답을 고름 들어가는 자료 같은 지시에 대한 답 여럿 바뀌는 것 없음(고른 자료가 생김) ③ 보상 모델 만들기 들어가는 자료 사람이 고른 자료 바뀌는 것 보상 모델 ④ 강화 학습으로 맞추기 들어가는 자료 보상 모델이 매긴 점수 바뀌는 것 모델의 가중치
사전 학습 뒤의 단계. 상자마다 위는 들어가는 자료, 아래는 그 단계에서 바뀌는 것입니다. ②~④ 가 사람의 선호로 조정(RLHF)입니다. ③ 에서 바뀌는 것은 LLM 이 아니라 따로 만드는 보상 모델입니다. 위 글에 적힌 단계만 그렸습니다.

내 자료로 모델을 더 학습시키는 방법을 고르는 일(전부 고칠지, 일부만 고칠지)은 전이 학습과 LoRA 쪽에서 다룹니다.

7. 인코더형과 디코더형

8. 언제 무엇을 쓰나

학습 방식좋은 점나쁜 점쓰는 경우
다음 토큰 예측(디코더형)표시 없는 글 그대로 배운다. 배운 그대로 글을 이어 쓴다. 모든 자리가 손실에 들어간다자리마다 뒤의 문맥을 못 본다. 생성은 한 토큰씩이라 길수록 오래 걸린다생성: 대화, 요약, 번역, 코드 쓰기
마스크 언어 모델링(인코더형)앞뒤 문맥을 다 본 표현을 얻는다글을 이어 쓰지 못한다. 가린 자리만 손실에 들어간다분류: 감정·주제 나누기, 글에서 이름 찾기
대조 학습포지티브(positive: 같은 뜻의 두 문장, 질문과 답)는 가깝게, 네거티브(negative)는 멀게 배워서 벡터 하나로 비슷함을 잰다짝 지은 자료가 필요하다. 글을 만들지 못한다임베딩: 검색, 비슷한 글 찾기, 묶기(임베딩)

어디에 쓰나

자주 묻는 것

사람이 정답을 매기지 않는데 어떻게 배우나요?

글 자체가 정답입니다. 글의 앞부분을 보여 주고 바로 다음 토큰을 맞히게 하면, 맞혀야 할 토큰은 이미 글 안에 적혀 있습니다. 그래서 사람이 따로 표시하지 않은 많은 글로 학습할 수 있습니다. 이런 방식을 자기 지도 학습이라고 부릅니다.

퍼플렉서티가 낮으면 더 좋은 모델인가요?

같은 시험 글을 같은 토크나이저로 잰 값끼리만 비교할 수 있습니다. 토큰을 나누는 법이 다르면 토큰의 수와 어휘가 달라져 숫자의 뜻이 바뀝니다. 또 퍼플렉서티는 다음 토큰을 얼마나 잘 맞히는지만 말해 줍니다. 지시를 잘 따르는지, 답이 사실인지는 따로 시험합니다.

문장 하나를 배울 때 토큰마다 모델을 따로 돌리나요?

아닙니다. 문장 전체를 한 번 넣고 모든 자리의 다음 토큰을 동시에 맞힙니다. 가리는 마스크가 자리마다 뒤의 토큰을 못 보게 막아서 답을 미리 볼 수 없습니다. 글을 만들어 낼 때(생성)만 한 토큰씩 차례로 냅니다.

낱말

여기서 쓴 말책에서 부르는 말
처음의 큰 학습사전 학습(pre-training)
다음 토큰 맞히기다음 토큰 예측(next-token prediction), 인과적 언어 모델링(causal language modeling), 자기회귀 모델(autoregressive model)
글이 곧 정답자기 지도 학습(self-supervised learning)
모델이 아는 토큰 전부어휘(vocabulary), 크기 V
정답에 준 확률의 −ln음의 로그 가능도(negative log-likelihood, NLL), 교차 엔트로피(cross-entropy)
몇 개 가운데 고르는 셈퍼플렉서티(perplexity, PPL)
앞만 보게 가리기인과 마스크(causal mask)
진짜 앞 토큰을 넣기교사 강요(teacher forcing)
가린 낱말 맞히기마스크 언어 모델링(masked language modeling, MLM)
지시 따르기 조정지시 조정(instruction tuning), 지도 미세 조정(supervised fine-tuning, SFT)
사람의 선호로 조정사람 피드백 강화 학습(reinforcement learning from human feedback, RLHF)
짝은 가깝게, 아닌 것은 멀게대조 학습(contrastive learning)

출처

← 임베딩 모델: 문장을 벡터 하나로소프트맥스와 샘플링 →