트랜스포머와 LLM: 글이 만들어지는 전체 흐름
챗봇에 물으면 답이 조금씩 나옵니다. 그 안에서는 「다음에 올 토큰 하나 맞히기」가 수백 번 되풀이됩니다. 글이 숫자 표가 되고, 여러 층을 지나, 다음 토큰의 확률이 되는 길을 한 단계씩 따라가 봅니다.
한 줄 답. LLM(큰 언어 모델)은 지금까지의 글 다음에 올 토큰의 확률을 내는 신경망이고, 그 뼈대가 트랜스포머입니다. 글을 토큰으로 자르고 → 벡터로 바꾸고 위치를 더하고 → 「어텐션 + 작은 신경망」 블록을 여러 겹 지나고 → 다음 토큰의 확률을 냅니다. 하나를 뽑아 뒤에 붙이고, 이것을 되풀이해 글을 씁니다.
① 글 → 토큰. 글을 모델이 아는 조각(토큰)으로 자르고, 토큰마다 번호를 붙입니다. 번호는 어휘 목록에서의 자리입니다. 모델이 받는 것은 글자가 아니라 이 번호들입니다.
자세히: 토큰화
② 임베딩. 임베딩 행렬(embedding matrix, 어휘 수 × 차원)에서 번호마다 한 줄씩 꺼냅니다. 이 줄이 그 토큰의 벡터입니다. 학습을 마친 모델에서는 뜻이 비슷한 토큰의 줄이 서로 비슷해집니다.
자세히: 임베딩
③ + 위치. 어텐션의 계산에는 토큰의 차례가 들어 있지 않습니다. 그래서 몇 번째 자리인지 나타내는 숫자를 줄마다 더해 차례를 알려 줍니다.
이 숫자는 6절의 실험에서 봅니다.
④ 어텐션. 토큰마다 앞의 토큰들을 얼마나 볼지 가중치를 정하고, 그 비율대로 정보를 섞어 가져옵니다. 뒤의 토큰은 보지 못하게 가립니다(인과 마스크, 회색 칸). 그림은 가중치 표이고 줄마다 합이 1 입니다.
⑤ 더하고 정규화. 어텐션이 만든 값을 들어온 값에 더합니다(잔차 연결). 그다음 줄마다 평균 0, 크기 1 로 맞춥니다(레이어 정규화, layer normalization). 층을 깊게 쌓아도 학습이 잘 되게 하는 장치입니다.
자세히: 3절 블록 안의 넷
⑥ MLP. 토큰마다 따로 작은 신경망을 지납니다. 8칸을 32칸으로 넓혔다가, 음수를 0 으로 바꾸고, 다시 8칸으로 줄입니다. 그림은 넓힌 32칸입니다.
자세히: 신경망
⑦ 더하고 정규화. MLP 가 만든 값을 더하고 다시 정규화합니다. 여기까지가 블록 하나입니다. 진짜 모델은 ④~⑦ 블록을 여러 겹 쌓고, 겹마다 가중치가 다릅니다.
자세히: 3절 블록 안의 넷
⑧ 마지막 선형층. 줄마다 어휘의 모든 토큰에 점수를 매깁니다. 이 장난감은 GPT-2 처럼 ② 의 임베딩 행렬을 다시 써서, 줄과 각 토큰의 벡터를 내적합니다. 다음 토큰을 고를 때는 마지막 줄만 씁니다.
자세히: 내적
⑨ 소프트맥스. 마지막 줄의 점수를 0 과 1 사이, 모두 더하면 1 인 확률로 바꿉니다. 점수가 클수록 확률이 큽니다.
자세히: 소프트맥스와 온도, 샘플링
⑩ 다음 토큰. 확률을 보고 토큰 하나를 고릅니다(여기서는 가장 큰 것). 고른 토큰을 글 끝에 붙이고, 7개가 된 글로 ① 부터 다시 합니다.
되풀이는 5절의 실험에서, 고르는 법은 소프트맥스와 온도, 샘플링에서 봅니다.
위쪽 띠: 동그라미가 단계 ①~⑩ 입니다. 이름표가 가리키는 주황이 지금 단계, 흐린 초록이 지난 단계, 굵은 주황 화살표가 지금 단계로 들어가고 나오는 길입니다. 보라 화살표는 잔차 연결입니다. 블록에 들어온 값이 옆으로 돌아가 + 에서 더해집니다.
작게 줄인 본보기. 토큰 6개, 차원 8, 어휘 16개, 블록 한 겹, 헤드 하나입니다. 가중치는 학습하지 않은 무작위 수라서 ⑩ 에서 고른 토큰에는 뜻이 없습니다. 자료의 모양과 차례만 보세요. GPT-2 논문의 모델은 차원 768~1,600, 어휘 50,257개, 블록 12~48 겹입니다. 칸의 색은 초록이 +, 파랑이 − 이고, 그림마다 가장 큰 값이 가장 진합니다.
1. LLM 과 트랜스포머
LLM(큰 언어 모델)은 글을 받아 다음에 올 토큰의 확률을 내는 신경망입니다. 토큰은 글을 자른 조각입니다. 낱말 하나일 때도 있고 낱말의 일부나 문장 부호일 때도 있습니다. 「크다」는 것은 학습으로 정하는 숫자(파라미터)가 아주 많고, 아주 많은 글로 학습했다는 뜻입니다. 숫자가 얼마나 많은지는 10절에서 직접 셉니다.
트랜스포머는 그 신경망의 짜임(구조)입니다. 2017년 논문(Vaswani 등)이 번역을 하려고 처음 내놓았습니다. 「어텐션 + 작은 신경망」 블록을 여러 겹 쌓은 것이 핵심입니다. 대부분의 LLM 이 이 짜임을 바탕으로 합니다.
원형: 인코더와 디코더
원 논문의 트랜스포머는 두 부분으로 되어 있습니다.
| 부분 | 하는 일 | 보는 범위 |
|---|---|---|
| 인코더 | 원문(예: 영어 문장) 전체를 읽어 토큰마다 벡터로 만든다 | 앞뒤 모두 |
| 디코더 | 번역문을 한 토큰씩 쓴다. 쓰는 동안 인코더가 만든 벡터를 본다(크로스 어텐션, cross-attention) | 이미 쓴 앞쪽만 |
번역에는 원문이 따로 있으니 두 부분이 다 필요합니다. 글을 이어 쓰기만 하는 LLM 에는 원문이 따로 없습니다. 질문과 지금까지 쓴 답을 한 줄로 이어 놓고 다음 토큰을 맞히면 됩니다. 그래서 디코더만 씁니다. 인코더가 없으니 크로스 어텐션도 빠지고, 블록 안에는 어텐션과 MLP 만 남습니다. GPT-2 가 이 꼴이고, 이 쪽의 실험도 이 꼴입니다.
2. 전체 흐름: 글에서 다음 토큰까지
n 은 토큰 수, d 는 차원(토큰 하나를 나타내는 숫자의 개수)입니다. 실험의 장난감은 n = 6, d = 8, 어휘 16 입니다.
글 → 토큰 번호 n개
→ 임베딩 n × d 임베딩 행렬에서 줄을 꺼낸다
→ + 위치 n × d
→ [어텐션 → 더하고 정규화 → MLP → 더하고 정규화] × N 겹
n × d 블록은 모양을 바꾸지 않는다
→ 마지막 선형층 n × 어휘 마지막 줄만 쓴다
→ 소프트맥스 어휘 수만큼의 확률
→ 하나를 골라 글 끝에 붙인다 → 처음으로
눈여겨볼 것은 블록이 모양을 바꾸지 않는다는 것입니다. n × d 가 들어가서 n × d 가 나옵니다. 그래서 같은 짜임의 블록을 몇 겹이든 이어 붙일 수 있습니다. 겹마다 가중치는 따로 배웁니다. 토큰끼리 정보가 오가는 곳은 어텐션뿐이고, 나머지는 모두 토큰마다 따로 계산합니다.
해 볼 것. ① 「④ 어텐션」에서 첫 줄 「작은」은 볼 수 있는 토큰이 자기 하나뿐이라 가중치가 1.00 입니다. 마지막 줄 「앉아」는 6칸이 모두 열려 있고 0.17, 0.09, 0.20, 0.22, 0.14, 0.18 로 나뉩니다. ② 「⑥ MLP」의 32칸에는 흰 칸이 많습니다. 192칸 가운데 78칸이 0 이 되었습니다. ③ 「⑨ 소프트맥스」에서 가장 큰 확률은 「.」 42.3% 입니다. 무작위 가중치라 뜻은 없습니다. 학습이 이 확률을 그럴듯하게 맞춥니다(7절).
3. 블록 안의 넷: 어텐션, MLP, 잔차 연결, 레이어 정규화
블록 하나에는 부품이 넷 있습니다. 하나씩 왜 있는지 봅니다.
| 부품 | 하는 일 | 왜 있나 |
|---|---|---|
| 어텐션 | 토큰마다 앞의 토큰들에서 필요한 정보를 골라 섞어 온다 | 토큰끼리 정보를 주고받는 곳은 여기뿐이다. 「그것」이 무엇을 가리키는지처럼 다른 토큰을 봐야 아는 것을 여기서 다룬다. 어텐션 |
| MLP(작은 신경망) | 토큰마다 따로, 차원의 4배로 넓혔다가 다시 줄인다 | 섞어 온 정보를 토큰 안에서 가공한다. 층마다 파라미터의 3분의 2 가 여기 있다(10절) |
| 잔차 연결 | 부품의 결과를 들어온 값에 더한다: x + 부품(x) | 부품은 「고칠 만큼」만 만들면 된다. 층이 깊어도 학습 신호가 잔차 연결을 따라 잘 흐른다. 이미지 신경망(ResNet)에서 먼저 쓴 방법이다 |
| 레이어 정규화 | 줄마다 평균 0, 크기(표준편차) 1 로 맞춘 뒤, 배운 값으로 늘이고 옮긴다 | 층을 지날 때마다 값이 너무 커지거나 작아지지 않게 잡아 준다. 학습이 안정된다 |
원 논문은 부품 뒤에 정규화를 했습니다: 정규화(x + 부품(x)). GPT-2 는 정규화를 부품의 입구로 옮기고, 맨 끝에 정규화를 하나 더 두었습니다: x + 부품(정규화(x)). 실험의 장난감은 원 논문의 차례를 따릅니다. 어느 쪽이든 부품 넷은 같습니다.
MLP 의 안쪽 너비는 원 논문과 GPT-2 모두 차원의 4배입니다(원 논문은 512 → 2,048). 원 논문은 음수를 0 으로 바꾸는 함수(ReLU)를, GPT-2 는 그것을 부드럽게 만든 GELU 를 씁니다.
4. 인과 마스크: 앞만 본다
LLM 의 어텐션은 앞의 토큰만 봅니다. 뒤의 토큰은 가립니다. 이것을 인과 마스크라고 부릅니다. 앞의 것만 뒤의 것에 영향을 준다는 뜻에서 붙은 이름입니다. 토큰 4개라면 이렇게 가립니다.
| 1 | 2 | 3 | 4 | |
|---|---|---|---|---|
| 1번 토큰 | ✓ | · | · | · |
| 2번 토큰 | ✓ | ✓ | · | · |
| 3번 토큰 | ✓ | ✓ | ✓ | · |
| 4번 토큰 | ✓ | ✓ | ✓ | ✓ |
까닭은 학습에 있습니다. 학습 때는 글 한 토막을 통째로 넣고 모든 자리에서 동시에 다음 토큰을 맞히게 합니다. 셋째 자리가 넷째 토큰을 볼 수 있다면 답을 보고 베끼게 됩니다. 가려 두면 한 토막으로 맞히기 문제를 여러 개 한꺼번에 풀 수 있습니다. 글을 쓸 때도 아직 쓰지 않은 뒤쪽은 없으니 같은 짜임이 그대로 맞습니다.
가리는 법은 간단합니다. 어텐션 점수 표에서 가릴 칸을 −∞ 로 바꾼 뒤 소프트맥스를 하면 그 칸의 가중치가 0 이 됩니다. 실험 ① 의 「④ 어텐션」 그림에서 회색 칸이 이렇게 가린 칸입니다.
5. 한 토큰씩 쓰기
트랜스포머가 한 번에 내는 것은 다음 토큰 하나의 확률뿐입니다. 글은 이렇게 씁니다.
- 프롬프트(prompt, 모델에 처음 넣는 글)를 토큰으로 자른다.
- 모델에 넣어 다음 토큰의 확률을 얻는다.
- 확률대로 하나를 뽑아 글 끝에 붙인다.
- 끝 토큰이 나오거나 길이 한도에 닿을 때까지 2~3 을 되풀이한다.
자기가 쓴 것을 다시 입력으로 받아 이어 가므로 자기회귀라고 부릅니다.
작게 줄인 본보기. 확률은 지어낸 작은 표에서 나옵니다. 이 표는 바로 앞 토큰 하나만 보고 후보 두세 개의 확률을 정해 둔 것입니다. 진짜 모델은 앞의 모든 토큰을 보고, 수만 개의 후보 모두에 확률을 계산합니다. 뽑는 수는 씨앗에서 만든 난수라서 씨앗이 같으면 늘 같은 글이 나옵니다.
해 볼 것. ① 씨앗 1 로 「다음 토큰」을 다섯 번 누르면 「작은 고양이가 창가에 누워 졸고 있다.」 까지 쓰고 끝 토큰이 나옵니다. 처음 뽑은 수는 0.63 이라 0.55~0.85 구간의 「누워」가 붙습니다. 확률이 가장 큰 「앉아」(55%)가 늘 뽑히는 것은 아닙니다. ② 씨앗을 6 으로 바꾸면 처음 뽑은 수가 0.53 이라 「앉아」가 붙고, 「앉아 밖을 본다.」 로 끝납니다. ③ 씨앗 7 은 「앉아 밖을 살핀다.」, 씨앗 4 는 「숨어 밖을 본다.」 입니다. ④ 「.」 다음에는 후보가 끝 토큰 하나(100%)뿐이라 어떤 수를 뽑아도 끝납니다.
어떻게 뽑느냐(가장 큰 것만 고르기, 확률대로 뽑기, 온도로 고르게 하거나 날카롭게 하기)는 다음 주제 소프트맥스와 온도, 샘플링에서 봅니다.
앞의 계산은 다시 하지 않는다: KV 캐시
토큰을 하나 붙일 때마다 모델 전체를 처음부터 다시 돌리면 낭비입니다. 인과 마스크 덕분에 앞 토큰들의 계산은 뒤에 무엇이 붙어도 바뀌지 않습니다. 그래서 층마다 앞 토큰들의 키(key, K)와 밸류(value, V)를 저장해 두고, 새 토큰 하나만 계산합니다. 이것을 KV 캐시라고 부릅니다. GPT-2 의 공개 코드에도 있습니다(past, present).
6. 위치 인코딩
실험 ① 의 「③ + 위치」에서 더한 숫자를 봅니다. 원 논문은 위치마다 사인·코사인 값을 계산해서 씁니다. 학습할 것이 없는 고정된 표입니다.
PE(pos, 2i) = sin(pos ÷ 10000^(2i/d))
PE(pos, 2i+1) = cos(pos ÷ 10000^(2i/d))
pos 는 위치(0 부터), d 는 차원 수, i 는 칸의 짝 번호(0 부터)입니다. 칸을 둘씩 짝지어 같은 각도의 sin 과 cos 을 넣습니다. 왼쪽 짝은 각도가 빨리 커지고(i = 0 이면 pos 그대로), 오른쪽 짝으로 갈수록 10000 의 거듭제곱으로 나뉘어 천천히 커집니다. 시계의 초침, 분침, 시침처럼 빠른 칸과 느린 칸이 섞여 있어 위치마다 다른 무늬가 생깁니다.
예: d = 8, 위치 1. 첫 짝은 각도가 1 이라 sin(1) = 0.841, cos(1) = 0.540. 둘째 짝은 각도가 1 ÷ 10000^(2/8) = 1 ÷ 10 = 0.1 이라 sin(0.1) = 0.100, cos(0.1) = 0.995. 셋째 짝은 각도 0.01, 넷째 짝은 0.001 입니다. 그래서 위치 1 의 여덟 칸은 0.841, 0.540, 0.100, 0.995, 0.010, 1.000, 0.001, 1.000 입니다.
위 그림의 한 줄이 한 위치에 더하는 숫자들입니다. 아래 그림은 A 와 B 두 줄의 값을 차원마다 이은 선입니다. 비슷한 정도는 두 줄을 벡터로 보고 잰 코사인 유사도입니다.
해 볼 것. ① 처음 값(위치 16, 차원 16, A = 3, B = 5)에서 비슷한 정도는 0.80 입니다. B 를 4 로 옮기면 0.94 로 올라갑니다. ② A = 10, B = 12 로 옮겨도 거리가 2 라서 0.80 그대로입니다. ③ 위 그림의 왼쪽 칸은 줄마다 색이 빨리 바뀌고, 오른쪽 칸은 거의 그대로입니다. 위치 수를 64 로 늘려도 오른쪽 끝 칸은 거의 바뀌지 않습니다. ④ 멀다고 늘 덜 비슷한 것은 아닙니다. A = 3 일 때 B = 13 이면 0.46, B = 15 면 0.67 입니다.
| 성질 | 쉬운 말 |
|---|---|
| 값은 늘 −1 과 1 사이 | 임베딩 값을 크게 흔들지 않고 더할 수 있다 |
| 위치마다 줄이 다르다 | 빠른 칸과 느린 칸이 섞여 같은 무늬가 다시 나오기 어렵다 |
| 비슷한 정도는 두 위치의 거리에만 달렸다 | 위치 3 과 5, 10 과 12 는 비슷한 정도가 같다 |
| k 칸 뒤의 줄은 지금 줄에서 정해진 계산(선형 변환)으로 얻는다 | 원 논문은 이 덕분에 모델이 「몇 칸 앞」 같은 상대 위치를 배우기 쉬울 것이라고 보았다 |
| 계산으로 만든다 | 학습 때보다 긴 글에도 계산할 수는 있다. 원 논문은 이것이 더 긴 글에 도움이 될 수 있다고 보고 이 방식을 골랐다 |
요즘 모델은 다른 방식도 많이 씁니다. GPT-2 는 위치마다 벡터를 학습하는 표(문맥 길이 × 차원)를 씁니다. 원 논문도 이 방식을 시험해 거의 같은 결과를 얻었다고 적었습니다. 위치를 더하는 대신 어텐션의 쿼리(query, Q)와 키(K) 벡터를 위치만큼 돌려서 두 토큰의 거리가 점수에 들어가게 하는 회전식(RoPE)도 널리 쓰입니다.
7. 학습: 다음 토큰 맞히기
학습할 것은 모든 표(가중치)입니다. 처음에는 실험 ① 처럼 무작위 수라서 확률에 뜻이 없습니다. 학습은 이 숫자들을 조금씩 고쳐, 실제 글에서 다음에 온 토큰의 확률이 커지게 합니다.
- 아주 많은 글에서 한 토막을 꺼냅니다. 예: 「작은 고양이가 창가에 앉아」.
- 모든 자리에서 다음 토큰을 맞힙니다. 「작은」 다음은 「고양이」, 「작은 고양이」 다음은 「가」, …. 인과 마스크 덕분에 토큰 6개짜리 토막 하나가 맞히기 문제 5개가 됩니다.
- 자리마다 정답 토큰에 준 확률 p 로 벌점
−log p(자연로그)를 매깁니다. 확신하고 맞히면 0 에 가깝고, 정답에 작은 확률을 줬으면 큽니다. 이 벌점이 교차 엔트로피입니다. - 벌점의 평균이 줄어드는 쪽으로 모든 가중치를 조금씩 고칩니다(경사 하강법). 이것을 아주 많이 되풀이합니다.
예: 「창가에」 다음의 정답이 「앉아」일 때, 모델이 「앉아」에 0.55 를 줬다면 벌점은 −log 0.55 = 0.598 입니다. 0.15 를 줬다면 −log 0.15 = 1.897 로 커집니다. 1 을 줬다면 0 입니다.
사전 학습과 미세 조정
사전 학습은 위의 일을 아주 많은 글로 오래 하는 단계입니다. 돈과 시간이 가장 많이 듭니다. 이것만 마친 모델은 글을 그럴듯하게 이어 쓰는 것은 잘하지만, 묻는 말에 답하도록 맞춰져 있지는 않습니다. 질문 뒤에 비슷한 질문을 더 이어 쓸 수도 있습니다.
미세 조정은 다 배운 모델을 더 작은 자료(질문과 좋은 답의 짝, 대화 기록 같은 것)로 조금 더 학습하는 단계입니다. 짜임은 그대로이고 가중치만 조금 바뀝니다. 가중치 전체 대신 작은 덧붙임만 학습하는 LoRA 같은 방법을 쓰면 비용이 크게 줄어듭니다. 사람이 더 낫다고 고른 답을 더 자주 내도록 맞추는 단계를 더하기도 합니다.
8. 컨텍스트 윈도우, 그리고 모델이 아는 것
컨텍스트 윈도우는 모델이 한 번에 볼 수 있는 토큰 수의 한도입니다. GPT-2 는 1,024 토큰입니다. 프롬프트와 이미 쓴 답을 합쳐 이 한도를 넘으면 앞부분을 잘라 내야 하고, 잘린 부분은 모델에게 없는 것과 같습니다. 위치를 학습하는 표를 쓰는 모델은 그 표의 줄 수가 곧 한도입니다.
컨텍스트 윈도우를 늘리면 계산이 빨리 늘어납니다. 어텐션 점수 표가 문맥 길이 × 문맥 길이라서, 길이가 2배면 칸은 4배입니다(10절의 계산기).
모델이 아는 것은 가중치에 있다
학습이 끝나면 가중치는 고정됩니다. 모델이 「아는」 사실, 말투, 문법은 모두 이 숫자들 속에 흩어져 있습니다. 데이터베이스처럼 찾아볼 수 있는 목록이 따로 있는 것이 아닙니다.
그래서 학습 뒤에 생긴 일, 회사 안의 문서, 어제 바뀐 가격은 모릅니다. 이런 것을 쓰게 하려면 프롬프트에 넣어 컨텍스트 윈도우 안에 두어야 합니다. 질문과 관련된 문서를 찾아 프롬프트에 붙여 주는 방법이 RAG(검색 증강 생성)입니다. 대화를 「기억」하는 것처럼 보이는 것도 대개 앞의 대화를 매번 프롬프트에 다시 넣어 주기 때문입니다.
9. 환각은 왜 생기나
환각은 모델이 사실이 아닌 것을 그럴듯하게 말하는 것입니다. 까닭을 쉬운 말로 줄이면 이렇습니다. 연구로 다 밝혀진 것은 아니고, 지금까지 본 짜임에서 나오는 설명입니다.
- 배운 목표가 「그럴듯한 다음 토큰」이다. 학습은 실제 글과 비슷한 글을 쓰게 했을 뿐입니다. 사실인지 따로 확인하는 단계는 짜임 안에 없습니다.
- 모르는 것도 모른다고 하지 않는다. 가중치에 그 사실이 없어도 다음 토큰의 확률은 늘 나옵니다. 「이 논문의 저자는 …」 같은 글의 모양은 잘 배웠으니, 모양에 맞는 그럴듯한 이름이 채워질 수 있습니다.
- 뽑기에 운이 섞인다. 확률대로 뽑으면 가끔 덜 그럴듯한 토큰이 뽑히고, 뒤의 토큰들은 그것을 사실처럼 이어 갑니다. 실험 ② 에서 「누워」가 뽑히면 그 뒤로는 그 갈래로만 가는 것과 같습니다.
- 드문 사실은 흐리게 남는다. 학습 글에 많이 나온 것은 잘 맞히고, 몇 번 안 나온 것은 비슷한 다른 것과 섞이기 쉽습니다.
줄이는 법: 근거 문서를 프롬프트에 넣고 그 안에서만 답하게 하기(RAG), 출처를 같이 내게 하고 사람이 확인하기. 다만 어느 것도 환각을 0 으로 만들지는 못합니다.
10. 크기: 파라미터 수 세기
파라미터는 학습으로 정하는 숫자, 곧 표들의 칸입니다. 블록 하나의 표를 세어 보면 차원 d 하나로 거의 정해집니다.
| 표 | 크기 | 칸 수 |
|---|---|---|
| 어텐션의 쿼리(Q), 키(K), 밸류(V), 출력 표 | d × d 네 개 | 4 × d² |
| MLP 의 넓히는 표, 줄이는 표 | d × 4d, 4d × d | 8 × d² |
| 블록 하나 | 12 × d² | |
| 임베딩(임베딩 행렬). 마지막 선형층도 같이 씀 | 어휘 × d | 어휘 × d |
파라미터 수 ≈ 어휘 × d + 층 × 12 × d²
d: 차원(토큰 하나를 나타내는 숫자의 개수).어휘: 임베딩 행렬의 줄 수.어휘 × d는 임베딩 표의 칸 수입니다.층: 쌓은 블록의 수(2절의 N 겹).12 × d²: 블록 하나의 칸 수. 어텐션의 표4 × d²와 MLP 의 표8 × d²를 더한 것입니다.
편향과 레이어 정규화의 숫자는 층마다 d 의 몇 배뿐이라 d² 에 비하면 아주 작아서 뺐습니다. 헤드 수는 식에 없습니다. 헤드가 여럿이면 d 를 나눠 맡을 뿐이라(헤드 하나의 너비 = d ÷ 헤드) 표의 전체 크기는 같습니다. 문맥 길이도 식에 없습니다. 위치를 학습하는 모델이면 문맥 × d 가 더해집니다.
| 부분 | 식 | 이 설정에서 |
|---|---|---|
| 임베딩 | 어휘 × 차원 | |
| 층 하나의 어텐션 | 4 × 차원² | |
| 층 하나의 MLP | 8 × 차원² | |
| 모든 층 | 층 × (어텐션 + MLP) | |
| 합(어림) | 임베딩 + 모든 층 | |
| 빠짐없이 세면 | GPT-2 코드의 짜임: 위치 표 문맥 × 차원, 층마다 편향과 정규화 13 × 차원, 마지막 정규화 2 × 차원 을 더한다 |
어림의 몫: 임베딩 · 모든 층의 어텐션 · 모든 층의 MLP =
막대는 로그 눈금이라 작은 수와 큰 수를 한 막대로 고를 수 있습니다. 정확한 수는 숫자 칸에 적으세요. 편향과 정규화를 뺀 어림이라 작은 설정일수록 빠짐없이 센 수와 차이가 큽니다.
해 볼 것. ① 처음 값은 실험 ① 의 장난감입니다. 어림은 896 개입니다. ② 「GPT-2 논문의 가장 작은 모델」을 누르면 어림이 123,532,032 개(약 1억 2,353만)이고, 공개된 코드의 짜임대로 빠짐없이 센 124,439,808 개보다 0.7% 적습니다. ③ 거기서 헤드 수를 12 에서 1 이나 64 로 바꿔도 파라미터 수는 그대로입니다. 헤드 하나의 너비만 바뀝니다(헤드 1 이면 768, 64 면 12). ④ 문맥 길이를 1,024 에서 2,048 로 늘리면 한 층의 어텐션 점수 표가 12,582,912 칸에서 50,331,648 칸으로 4배가 됩니다. ⑤ 「가장 큰 모델」에서는 MLP 가 63.2%, 임베딩이 5.2% 입니다. 가장 작은 모델은 임베딩이 31.2% 입니다. 모델이 클수록 d² 이 앞질러 블록이 거의 전부가 됩니다.
손으로 세기: 실험 ① 의 장난감
어휘 16, 차원 8, 블록 한 겹, MLP 안쪽 너비 32(= 4 × 8)인 장난감을 셉니다.
- 임베딩.
16 × 8 = 128. - 어텐션. Q, K, V, 출력 표가 각각
8 × 8 = 64칸. 넷이면4 × 64 = 256. - MLP. 넓히는 표
8 × 32 = 256, 줄이는 표32 × 8 = 256. 합512(= 8 × 8²). - 합. 블록 한 겹이라
256 + 512 = 768. 임베딩을 더해128 + 768 = 896. - 뺀 것. GPT-2 식으로 더하면 위치 표
6 × 8 = 48, 편향9 × 8 = 72, 블록 안의 정규화 둘4 × 8 = 32, 마지막 정규화2 × 8 = 16. 모두 168 이라 1,064 개입니다. 이렇게 작으면 뺀 몫이 15.8% 로 큽니다. 차원이 커질수록 d² 이 d 를 크게 앞질러 뺀 몫이 작아집니다.
공개된 숫자와 맞춰 보기
GPT-2 논문은 크기가 다른 모델 넷을 냈습니다. 넷 모두 어휘 50,257, 문맥 1,024 입니다(논문 2.3절).
| 층 | 차원 | 논문의 표 | 이 쪽의 어림 | 공개 코드의 짜임대로 센 수 |
|---|---|---|---|---|
| 12 | 768 | 117M | 123,532,032 | 124,439,808 |
| 24 | 1,024 | 345M | 353,453,056 | 354,823,168 |
| 36 | 1,280 | 762M | 772,117,760 | 774,030,080 |
| 48 | 1,600 | 1542M | 1,554,971,200 | 1,557,611,200 |
M 은 백만입니다. 어림은 빠짐없이 센 수와 1% 안쪽으로 맞습니다. 논문의 표에 적힌 수는 공개된 코드로 센 수보다 1~6% 작습니다. 이 쪽은 그 까닭을 확인하지 못했습니다.
원 논문의 기본 모델(인코더 6 겹 + 디코더 6 겹, 차원 512, 헤드 8, 논문의 표로 6,500만 개)은 이 계산기로 맞춰 보지 않았습니다. 디코더 블록마다 크로스 어텐션이 하나 더 있고, 인코더 블록은 짜임이 달라서 이 계산기의 식(디코더만)과 맞지 않기 때문입니다.
11. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 나오는 것은 늘 「다음 토큰 하나의 확률」 | 긴 글은 하나씩 뽑아 붙이기를 되풀이해서 만든다 |
| 블록은 n × d 를 받아 n × d 를 낸다 | 그래서 같은 짜임을 몇 겹이든 쌓을 수 있다 |
| 토큰끼리 섞이는 곳은 어텐션뿐 | MLP, 정규화, 잔차 연결은 토큰마다 따로 계산한다 |
| 앞만 본다(인과 마스크) | 학습 때 한 토막의 모든 자리를 한꺼번에 연습하고, 쓸 때는 앞 계산을 저장해 다시 쓴다 |
파라미터 수 ≈ 어휘 × d + 층 × 12 × d² | 헤드 수와 문맥 길이는 이 수를 거의 바꾸지 않는다. 문맥 길이는 계산량을 바꾼다(제곱으로) |
어디에 쓰나
- 대화와 글쓰기 도우미. 질문과 지금까지의 대화를 프롬프트로 넣고 답을 이어 쓰게 합니다.
- 요약, 번역, 고쳐 쓰기. 「다음 글을 세 줄로 줄여라: …」처럼 할 일을 프롬프트에 적습니다. 원 논문의 트랜스포머는 번역용 인코더·디코더였지만, 디코더만 쓰는 모델도 프롬프트로 같은 일을 합니다.
- 코드 이어 쓰기. 코드도 토큰으로 자른 글입니다. 편집기의 자동 완성이 같은 원리로 다음 토큰을 냅니다.
- 문서를 찾아 답하기. 사내 문서의 검색 결과를 프롬프트에 넣고 그 안에서 답하게 합니다(RAG).
- 분류와 뽑아내기. 「이 리뷰는 좋다는 말인가 나쁘다는 말인가」, 「이 메일에서 날짜와 금액을 JSON 으로」처럼 답의 모양을 정해 주면 분류기나 파서처럼 씁니다.
자주 묻는 것
LLM 과 트랜스포머는 같은 말인가요?
아닙니다. 트랜스포머는 신경망의 짜임(구조)이고, LLM 은 그 짜임으로 아주 많은 글을 학습한 큰 모델입니다. 대부분의 LLM 은 트랜스포머에서 디코더만 쓰는 꼴입니다.
모델은 답을 한 번에 다 쓰나요?
아닙니다. 한 번 계산할 때마다 다음 토큰 하나의 확률만 나옵니다. 하나를 뽑아 글 끝에 붙이고 다시 계산하기를 끝 토큰이 나올 때까지 되풀이합니다.
같은 질문에 답이 매번 다른 까닭은 무엇인가요?
다음 토큰을 확률대로 뽑기 때문입니다. 앞에서 다른 토큰이 뽑히면 그 뒤도 달라집니다. 늘 가장 큰 확률만 고르면 거의 늘 같은 답이 나옵니다.
모델이 최근 일이나 우리 회사 문서를 모르는 까닭은 무엇인가요?
모델이 아는 것은 학습 때 정해진 가중치 안에 있고, 학습이 끝나면 바뀌지 않습니다. 새 정보는 프롬프트에 넣어 컨텍스트 윈도우 안에 두어야 씁니다. 관련 문서를 찾아 넣어 주는 방법이 RAG 입니다.
환각은 왜 생기나요?
모델은 그럴듯한 다음 토큰을 내도록 배웠을 뿐, 사실인지 확인하는 단계가 따로 없습니다. 모르는 것이어도 확률은 늘 나오기 때문에 그럴듯한 모양의 틀린 내용이 나올 수 있습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 큰 언어 모델 | LLM(large language model) |
| 트랜스포머 | Transformer |
| 토큰, 토큰 번호 | token, token ID |
| 어휘 | vocabulary |
| 토큰의 벡터, 그 벡터를 모은 표 | 임베딩(embedding), 임베딩 행렬(embedding matrix) |
| 차원 | 모델 차원, 은닉 크기(d_model, hidden size) |
| 위치 숫자 | 위치 인코딩(positional encoding). 학습하는 것은 learned positional embedding, 회전식은 RoPE(rotary position embedding) |
| 블록, 겹 | 트랜스포머 블록(transformer block), 층(layer) |
| 작은 신경망 | MLP, 피드포워드 네트워크(feed-forward network, FFN) |
| 값을 옆으로 돌려 더하는 길 | 잔차 연결(residual connection, skip connection) |
| 줄마다 평균 0, 크기 1 로 맞추기 | 레이어 정규화(layer normalization) |
| 앞만 보게 가리기 | 인과 마스크(causal mask) |
| 원문을 읽는 부분 / 쓰는 부분 | 인코더(encoder) / 디코더(decoder) |
| 디코더가 인코더를 보는 어텐션 | 크로스 어텐션(cross-attention) |
| 마지막 선형층의 점수 | 로짓(logits) |
| 모델에 처음 넣는 글 | 프롬프트(prompt) |
| 한 토큰씩 붙여 쓰기 | 자기회귀 생성(autoregressive generation) |
| 앞 토큰의 K, V 를 저장해 두기 | KV 캐시(KV cache) |
| 한 번에 볼 수 있는 토큰 수 | 컨텍스트 윈도우(context window), 문맥 길이(context length) |
| 학습으로 정하는 숫자 | 파라미터(parameters), 가중치(weights) |
| 다음 토큰 맞히기의 벌점 | 교차 엔트로피 손실(cross-entropy loss) |
| 처음 크게 배우기 / 고쳐 배우기 | 사전 학습(pre-training) / 미세 조정(fine-tuning) |
| 그럴듯한 틀린 말 | 환각(hallucination) |
출처
- Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin (2017). Attention Is All You Need. 트랜스포머, 인코더·디코더, 인과 마스크, 사인·코사인 위치 인코딩, 기본 모델의 크기(표 3).
- Radford, Wu, Child, Luan, Amodei, Sutskever (2019). Language Models are Unsupervised Multitask Learners (GPT-2). 정규화를 입구로 옮긴 것, 어휘 50,257, 문맥 1,024(2.3절), 네 모델의 크기(표 2).
- OpenAI, gpt-2 src/model.py. 학습하는 위치 표, 임베딩 행렬을 같이 쓰는 마지막 층, KV 캐시(
past). 「빠짐없이 센 수」는 이 짜임으로 이 쪽에서 계산했습니다. - GPT-2 설정 파일: 가장 작은 모델, 가장 큰 모델(헤드 수 12, 25).
- Ba, Kiros, Hinton (2016). Layer Normalization.
- He, Zhang, Ren, Sun (2015). Deep Residual Learning for Image Recognition (잔차 연결, ResNet).
- Su, Lu, Pan, Murtadha, Wen, Liu (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding (RoPE).