토큰과 토큰화: LLM 이 글을 읽는 단위
LLM(큰 언어 모델)은 글을 글자 하나씩도, 낱말 하나씩도 아닌 「토큰」이라는 조각으로 읽습니다. 그 토큰이 어떻게 만들어지는지 아래에서 직접 만들어 봅니다.
한 줄 답. LLM 은 글자나 낱말이 아니라 토큰이라는 조각 단위로 글을 읽고 씁니다. 토큰화는 글을 그 토큰으로 자르고 토큰마다 번호를 붙이는 일입니다. 자주 나오는 글자 묶음은 한 토큰이 되고, 드문 낱말은 여러 토큰으로 쪼개집니다. 요금과 길이 제한(컨텍스트 윈도우)도 토큰 수로 매깁니다.
지금 글이 나뉜 모습. 테두리 하나가 토큰 하나, ␣ 는 띄어쓰기, 굵은 주황 테두리는 방금 합친 토큰(그 쌍이 나온 모든 곳)
합친 규칙(배운 차례)
아직 합친 규칙이 없습니다.
합칠수록 줄어드는 토큰 수
작게 줄인 본보기. 진짜 토크나이저는 아주 많은 글로 수만~수십만 개의 토큰을 미리 만들어 둔 것이라, 여기서 나오는 토큰·개수와 다릅니다. 여기서는 짧은 글 하나로 배우고, 두 번 이상 붙어 나온 쌍만 합칩니다.
1. 토큰과 토큰화
토큰은 모델이 글을 읽고 쓰는 조각입니다. 토큰은 낱말 하나일 수도, 낱말의 일부일 수도, 글자 하나일 수도 있습니다. 바이트에서 출발하는 방식이면 글자의 일부(바이트)일 때도 있습니다.
토큰화는 글을 그 토큰으로 자르고 토큰마다 번호를 붙이는 일입니다. 이 일을 하는 도구를 토크나이저, 쓸 수 있는 토큰을 모은 목록을 어휘라고 부릅니다. 모델은 글자를 보지 않습니다. 번호 시퀀스(sequence)를 받습니다.
글 → 토큰으로 자르기 → 토큰마다 번호 → 번호 시퀀스 → 모델
예: 위 실험에서 기본 예문을 끝까지 합치면 「␣고양이는」(띄어쓰기 + 고양이는)이 토큰 하나가 되고 번호는 30 입니다. 모델에게 이 낱말은 글자 다섯 개가 아니라 숫자 30 하나입니다. 모델이 답을 쓸 때도 번호를 하나씩 내놓고, 토크나이저가 그 번호를 다시 글로 바꿉니다.
2. 왜 낱말도 글자도 아닌 그 사이인가
| 단위 | 좋은 점 | 나쁜 점 |
|---|---|---|
| 낱말 | 글이 짧다. 토큰 수 = 낱말 수 | 낱말이 너무 많다. 한국어는 「고양이는」, 「고양이가」, 「고양이를」이 모두 다른 낱말이다. 목록에 없는 새 낱말(이름, 새말, 오타)은 다룰 수 없다 |
| 글자 | 어휘가 작다. 어떤 낱말도 적을 수 있다 | 글이 너무 길어진다. 모델이 한 번에 볼 수 있는 토큰 수가 정해져 있어 그만큼 손해다. 글자 하나에는 뜻이 거의 없다 |
| 서브워드(subword, 그 사이) | 자주 나오는 낱말은 통째로 한 토큰, 드문 낱말은 몇 토큰. 어휘 크기와 글 길이를 함께 줄인다 | 토큰이 뜻과 맞지 않을 때가 있다 |
그래서 토큰의 크기를 얼마나 자주 나오는가로 정합니다. 많이 나오는 것은 크게, 드문 것은 작게. 이렇게 정하는 가장 널리 알려진 방법이 BPE 입니다.
3. BPE: 가장 자주 붙어 나오는 쌍을 합치기
BPE(바이트 쌍 인코딩)는 원래 파일을 줄이는 압축 방법이었습니다(Gage, 1994). Sennrich 등(2016)이 이것을 번역 모델의 토큰 만들기에 가져왔고, 지금 많은 LLM 의 토크나이저가 이 방식이나 그 변형을 씁니다. 절차는 이렇습니다.
- 글을 띄어쓰기로 낱말로 나누고, 낱말마다 글자(또는 바이트) 하나하나를 토큰으로 둡니다.
- 이웃한 두 토큰의 쌍을 모두 셉니다.
- 가장 많이 나온 쌍 하나를 새 토큰으로 합치고, 규칙 목록 끝에 적습니다.
- 정한 횟수(또는 정한 어휘 크기)에 닿을 때까지 2~3 을 되풀이합니다.
토큰 = 글자 하나하나
되풀이:
쌍 세기: (A, B) 가 몇 번 붙어 나오나
가장 많은 (A, B) 하나를 고른다
글 속의 「A B」 를 모두 「AB」 로 바꾸고, 규칙 「A + B → AB」 를 적는다
이 실험이 정한 것은 넷입니다.
| 정한 것 | 이 실험에서는 |
|---|---|
| 낱말 경계 | 띄어쓰기를 넘어 합치지 않습니다. 띄어쓰기는 뒤 낱말의 앞에 붙어(␣) 같이 합쳐집니다. 그래서 「␣고양이는」은 생겨도 「는␣잔」은 생기지 않습니다. 원 논문은 띄어쓰기 대신 낱말 끝에 표시를 붙였습니다. 경계를 넘지 않는 것은 같습니다 |
| 같은 수일 때 | 가장 많이 나온 쌍이 둘 이상이면 글에서 먼저 나온 쌍을 고릅니다. 그래서 늘 같은 결과가 나옵니다 |
| 멈추는 때 | 두 번 이상 붙어 나온 쌍이 없으면 멈춥니다. 한 번뿐인 쌍을 합치면 그 글을 외우기만 합니다. 500번에서도 멈춥니다 |
| 세는 법 | 「aaa」 처럼 겹치면 a+a 를 두 번 셉니다. 합칠 때는 앞에서부터 「aa a」 로 한 번만 합칩니다 |
해 볼 것. ① 기본 예문에서 「다음 합치기」를 한 번 누르면 첫 규칙은 「다」+「.」 입니다(5번). 문장 끝 「다.」가 가장 자주 붙어 나와서입니다. BPE 는 뜻을 모르고 붙어 나온 횟수만 봅니다. ② 「처음으로」를 누르고 「10번 합치기」를 누르면 토큰이 74개에서 44개가 됩니다. 한 번 더 누르면 18번째에서 멈추고 28개가 남습니다. 그래프가 계단처럼 내려가다 멈춥니다. ③ 「바이트에서 출발」을 누르면 처음 토큰이 176개입니다. 한글 한 글자가 바이트 셋이라서입니다. 첫 규칙은 「␣」+「⟨EA⟩」(7번)로, 한글 글자의 일부를 합칩니다. 끝까지(42번) 합치면 36개가 됩니다.
4. 손으로 따라 풀기: 세 번 합치기
글 「고양이 고양이가 고양이를」로 해 봅니다. 낱말은 「고양이」, 「␣고양이가」, 「␣고양이를」 셋입니다. 처음에는 글자 하나하나가 토큰이라 13개입니다. 처음 쌍을 세면 「고+양」 3번, 「양+이」 3번, 「␣+고」 2번, 「이+가」 1번, 「이+를」 1번입니다.
| 단계 | 합친 쌍(나온 수) | 나뉜 모습 | 토큰 수 |
|---|---|---|---|
| 처음 | 고|양|이|␣|고|양|이|가|␣|고|양|이|를 | 13 | |
| 1 | 고 + 양 (3번). 「양+이」도 3번이지만 「고+양」이 먼저 나왔다 | 고양|이|␣|고양|이|가|␣|고양|이|를 | 10 |
| 2 | 고양 + 이 (3번). 남은 쌍 가운데 가장 많다 | 고양이|␣|고양이|가|␣|고양이|를 | 7 |
| 3 | ␣ + 고양이 (2번). 나머지 쌍은 한 번씩이다 | 고양이|␣고양이|가|␣고양이|를 | 5 |
이제 남은 쌍은 「␣고양이+가」와 「␣고양이+를」이 한 번씩뿐이라 멈춥니다. 규칙 목록은 고+양 → 고양, 고양+이 → 고양이, ␣+고양이 → ␣고양이 셋입니다. 맨 앞의 「고양이」는 앞에 띄어쓰기가 없어 「␣고양이」와 다른 토큰으로 남았습니다.
해 볼 것. 「손 예제」를 누르고 「다음 합치기」를 세 번 누르세요. 토큰 수가 13 → 10 → 7 → 5 로 줄고, 위 표와 같은 규칙 셋이 쌓인 뒤 단추가 꺼집니다.
5. 배운 규칙으로 새 글 자르기
규칙을 다 배운 뒤에는 어떤 글이든 같은 방법으로 자릅니다. 띄어쓰기로 낱말을 나누고, 글자(또는 바이트)로 쪼갠 다음, 규칙을 배운 차례대로 하나씩 적용합니다. 그리고 토큰마다 어휘 목록의 번호를 붙입니다.
토큰과 번호. 위 실험에서 배운 규칙으로 자릅니다. 주황 점선은 번호가 없는 글자(UNK)
번호는 이 실험에서 이렇게 붙였습니다. 글자에서 출발하면 배운 글에 나온 글자가 나온 차례대로 0번부터, 합친 토큰은 그 뒤에 배운 차례대로입니다. 바이트에서 출발하면 0~255번이 바이트 하나씩이고, 합친 토큰은 256번부터입니다. 진짜 토크나이저의 번호 매기는 법은 저마다 다릅니다.
배운 글에 자주 나온 낱말은 한 토큰이 되고, 처음 보는 낱말은 아는 작은 토큰들로 쪼개집니다. 글자에서 출발했는데 배운 글에 아예 없던 글자가 나오면 목록에 번호가 없습니다. 이런 글자는 「모름」을 뜻하는 특수 토큰 [UNK] 로 바뀌고, 모델은 그 글자가 무엇이었는지 알 수 없습니다.
해 볼 것. ① 위 실험에서 「기본 예문」을 누르고(글자에서 출발) 「10번 합치기」를 두 번 누르세요(18번에서 멈춥니다). 새 글의 글자 28개가 토큰 16개가 됩니다. 배운 글에 있던 「␣고양이는」은 한 토큰(30번)이고, 처음 보는 「␣아이는」은 「␣」 「아」 「이」 「는」 네 토큰으로 쪼개집니다. ② 새 글에 「호랑이」를 넣으면 「호」와 「랑」은 배운 글에 없던 글자라 UNK 가 됩니다. ③ 위에서 「바이트에서 출발」로 바꾸면 UNK 가 사라지고, 「호」는 바이트 세 토큰 ⟨ED⟩ ⟨98⟩ ⟨B8⟩ 로 나옵니다.
6. 글자, 바이트, 토큰
컴퓨터는 글자를 바이트(0~255 사이의 수)로 저장합니다. 지금 가장 널리 쓰는 규칙인 UTF-8 에서는 글자마다 바이트 수가 다릅니다. 영어 글자, 숫자, 띄어쓰기는 1바이트, 「é」 같은 글자는 2바이트, 한글과 흔한 한자·일본 가나는 3바이트, 이모지는 대개 4바이트입니다. 「고」는 EA B3 A0 세 바이트입니다.
| 글 A | 글 B | |
|---|---|---|
| 글자 수 | ||
| UTF-8 바이트 수 | ||
글자마다의 UTF-8 바이트(16진수)
이 단위 고르기는 맨 위 실험의 것과 같습니다. 바꾸면 위 실험도 같이 바뀌고, 합치기 횟수는 0 으로 돌아갑니다.
| 출발 | 처음 목록 | 좋은 점 | 나쁜 점 |
|---|---|---|---|
| 글자 | 배운 글에 나온 글자 | 한글 한 글자가 처음부터 한 토큰 | 세상의 글자는 아주 많다. 배운 글에 없던 글자는 UNK 가 된다 |
| 바이트 | 바이트 256개 | 어떤 글이든 적을 수 있다. UNK 가 없다 | 한글은 한 글자가 바이트 세 토큰에서 출발한다. 합쳐 줄지 못하면 토큰이 많아진다 |
바이트에서 출발한 토크나이저가 영어 글을 많이 보고 한국어 글을 적게 봤다면, 영어 낱말은 한 토큰으로 합쳐지고 한국어 낱말은 바이트 토큰이 많이 남습니다. 그러면 같은 뜻이라도 한국어 글의 토큰이 더 많습니다. 반대로 한국어 글을 많이 보고 배웠다면 한국어 토큰이 적게 나옵니다. 어떤 글로 배웠는지가 토큰 수를 정합니다.
해 볼 것. ① 처음 값에서 글 A 「고양이는 잔다」는 글자 7개, 바이트 19개이고, 글 B 「the cat sleeps」는 글자 14개, 바이트 14개입니다. 글자로 세면 A 가 짧고, 바이트로 세면 A 가 깁니다. ② 글자에서 출발이면 글 B 의 토큰은 14개인데 그중 12개가 UNK 입니다. 배운 글(한국어)에 영어 글자가 없어서입니다. ③ 「바이트에서 출발」을 누르면 토큰 수가 바이트 수와 같아져 A 는 19개, B 는 14개입니다. 한글이 영어보다 토큰이 많습니다. UNK 는 없습니다. ④ 그대로 위 실험의 기본 예문을 끝까지(42번) 합치면 A 는 10개로 줄고 B 는 14개 그대로입니다. 한국어 글로 배웠기 때문입니다.
7. 토큰 수 어림, 컨텍스트 윈도우, 요금
어림. 영어 글은 흔한 낱말이 한 토큰, 드문 낱말이 몇 토큰이라 「낱말 하나에 토큰 한두 개쯤」으로 어림하곤 합니다. 하지만 정확한 비율은 토크나이저마다 다르고 언어마다 크게 다릅니다. 정확한 수가 필요하면 그 모델의 토크나이저로 직접 셉니다.
컨텍스트 윈도우. 모델이 한 번에 볼 수 있는 토큰 수의 상한입니다. 넣는 글(지시, 앞의 대화, 붙인 문서)과 모델이 쓰는 답이 모두 이 안에 들어가야 합니다. 넘으면 앞부분을 잘라 내거나 줄여서 넣어야 합니다.
요금. LLM 을 API 로 쓰면 보통 넣은 토큰 수와 나온 토큰 수로 값을 매깁니다. 같은 뜻이라도 토큰이 많이 나오는 글은 값이 더 들고 컨텍스트 윈도우도 더 많이 씁니다. 값은 모델마다 다르고 자주 바뀌니 그 모델의 안내를 봅니다.
값 ≈ 넣은 토큰 수 × 넣는 단가 + 나온 토큰 수 × 나오는 단가
8. 특수 토큰
글에서 나오지 않고 표시만 하는 토큰도 어휘에 넣어 둡니다. 이것을 특수 토큰이라고 부릅니다. 이름과 모양은 모델마다 다릅니다.
| 하는 일 | 이름의 예 |
|---|---|
| 글의 시작 | BOS, <s>, [CLS] |
| 글의 끝, 문장 사이 | EOS, </s>, [SEP] |
| 길이를 맞추려 채우는 칸 | PAD, [PAD] |
| 목록에 없음(모름) | UNK, [UNK] |
예를 들어 BERT 는 글 맨 앞에 [CLS], 문장 사이에 [SEP] 를 넣습니다. 글을 쓰는 모델은 「끝」 토큰을 내놓으면 답 쓰기를 멈춥니다. 많은 대화용 모델은 「여기부터 사용자의 말」, 「여기부터 모델의 답」 같은 경계도 특수 토큰으로 표시합니다.
9. 토큰화 때문에 생기는 일
- 글자 세기와 철자 뒤집기에 약하다. 모델은 「␣고양이는」을 번호 30 하나로 받습니다. 그 안에 어떤 글자가 몇 개 들었는지는 번호에 드러나지 않습니다. 그래서 「이 낱말에 어떤 글자가 몇 번 나오나」, 「거꾸로 써 보라」처럼 글자 하나하나를 봐야 하는 일을 틀리기 쉽습니다.
- 띄어쓰기 하나로 다른 토큰이 된다. 위 손 예제에서 맨 앞의 「고양이」와 「␣고양이」는 다른 토큰입니다. 같은 낱말도 자리에 따라 번호가 다를 수 있습니다.
- 처음 보는 낱말은 길어진다. 새 이름, 새말, 오타는 잘게 쪼개져 토큰을 많이 씁니다.
- 언어마다 값과 길이가 다르다. 같은 뜻이라도 토큰 수가 다르면 요금과 컨텍스트 윈도우 사용이 다릅니다(6절).
10. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 자주 나오는 것은 크게, 드문 것은 작게 | 흔한 낱말은 한 토큰, 드문 낱말은 여러 토큰 |
| 합칠수록 목록은 늘고 글은 짧아진다 | 합치기 한 번에 어휘가 하나 늘고, 토큰 수는 줄어든다. 그래프가 내려간다 |
| 뜻을 모른다 | 붙어 나온 횟수만 본다. 첫 규칙이 「다」+「.」인 것처럼 |
| 배운 뒤에는 늘 같게 자른다 | 같은 규칙, 같은 글이면 같은 토큰과 번호 |
| 바이트에서 출발하면 모르는 글자가 없다 | 바이트 256개로 어떤 글이든 적을 수 있다 |
11. 다른 방식: WordPiece, SentencePiece, 유니그램
| 이름 | BPE 와 다른 점 |
|---|---|
| WordPiece | BPE 처럼 합쳐 가지만, 가장 많이 나온 쌍이 아니라 합쳤을 때 학습 글을 가장 잘 설명하게(확률이 가장 크게 오르게) 되는 쌍을 고릅니다. BERT 가 씁니다 |
| 유니그램 | 거꾸로 큰 목록에서 출발해, 빼도 손해가 적은 토큰을 지워 가며 줄입니다. 자를 때는 확률이 가장 높은 자르기를 고릅니다 |
| SentencePiece | 방식이 아니라 도구 이름입니다. 띄어쓰기도 「▁」라는 글자로 다뤄, 띄어쓰기가 없는 언어도 미리 낱말로 나누지 않고 바로 배웁니다. 안에서 BPE 나 유니그램을 고릅니다 |
어디에 쓰나
- LLM 의 입력과 출력. 모든 글은 번호 시퀀스로 바뀌어 들어가고, 모델은 다음에 올 번호를 하나씩 고릅니다. 모델 안에서 번호는 먼저 숫자 묶음(벡터)으로 바뀝니다. 이것이 다음 주제인 임베딩입니다.
- 길이와 값 재기. 긴 문서를 모델에 넣거나 검색용으로 나눌 때 글자 수가 아니라 토큰 수로 잽니다.
- 기계 번역. Sennrich 등(2016)은 번역에서 드문 낱말과 처음 보는 낱말을 다루려고 BPE 를 썼습니다.
- 압축. Gage(1994)의 원래 BPE 는 자주 나오는 바이트 쌍을 그 파일에 쓰이지 않는 바이트 하나로 바꿔 파일을 줄였습니다.
자주 묻는 것
토큰이 뭔가요?
LLM 이 글을 읽고 쓰는 조각 단위입니다. 낱말 하나일 수도, 낱말의 일부나 글자 하나일 수도 있습니다. 토큰마다 번호가 있고, 모델은 이 번호 시퀀스를 받습니다.
토큰 하나는 글자 몇 개인가요?
정해져 있지 않습니다. 토크나이저와 언어에 따라 다릅니다. 자주 나오는 낱말은 통째로 한 토큰, 드문 낱말은 여러 토큰입니다. 정확한 수는 그 모델의 토크나이저로 세어 봐야 합니다.
왜 한국어는 토큰이 더 많이 나올 때가 있나요?
한글 한 글자는 UTF-8 로 3바이트입니다. 바이트에서 출발하는 토크나이저가 한국어 글을 적게 보고 배웠다면 한국어 낱말이 큰 토큰으로 합쳐지지 않아 토큰이 많이 나옵니다. 차이는 토크나이저마다 다릅니다.
LLM 이 글자 수 세기를 자주 틀리는 까닭은 무엇인가요?
모델은 글자가 아니라 토큰 번호를 받기 때문입니다. 한 토큰 안에 어떤 글자가 몇 개 들었는지는 번호에 드러나지 않습니다. 그래서 글자 세기나 철자 뒤집기처럼 글자 하나하나를 봐야 하는 일에 약합니다.
BPE, WordPiece, SentencePiece 는 무엇이 다른가요?
BPE 는 가장 자주 붙어 나오는 쌍을 합칩니다. WordPiece 는 합쳤을 때 학습 글을 가장 잘 설명하게 되는 쌍을 합칩니다. SentencePiece 는 띄어쓰기까지 글자로 다루는 도구 이름이고, 그 안에서 BPE 나 유니그램 방식을 씁니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 모델이 글을 읽고 쓰는 단위 | 토큰(token) |
| 글을 조각으로 자르고 번호 붙이기 | 토큰화(tokenization) |
| 자르는 도구(규칙과 목록) | 토크나이저(tokenizer) |
| 쓸 수 있는 토큰의 목록 | 어휘(vocabulary), 어휘 크기(vocabulary size) |
| 토큰 번호 | 토큰 ID(token id) |
| 낱말보다 작은 조각 | 서브워드(subword) |
| 가장 자주 붙어 나오는 쌍을 합치기 | 바이트 쌍 인코딩(byte pair encoding, BPE) |
| 합친 규칙 | 병합 규칙(merge rules, merges) |
| 바이트에서 출발하는 BPE | 바이트 수준 BPE(byte-level BPE) |
| 띄어쓰기로 먼저 나누기 | 사전 토큰화(pre-tokenization) |
| 「모름」을 뜻하는 토큰 | 미지 토큰(unknown token, [UNK]) |
| 표시만 하는 토큰 | 특수 토큰(special token) |
| 한 번에 볼 수 있는 토큰 수 | 컨텍스트 윈도우(context window), 문맥 길이(context length) |
| 글자를 바이트로 적는 규칙 | 문자 인코딩(character encoding), UTF-8 |
출처
- Sennrich, Haddow, Birch (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016. (arXiv) 토큰 만들기에 BPE 를 쓴 논문.
- Gage, P. (1994). A New Algorithm for Data Compression. The C Users Journal. 압축 방법으로서의 BPE.
- Schuster, Nakajima (2012). Japanese and Korean Voice Search. ICASSP 2012. WordPiece.
- Kudo (2018). Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. 유니그램 방식.
- Kudo, Richardson (2018). SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing.
- Devlin, Chang, Lee, Toutanova (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. [CLS], [SEP], WordPiece.
- RFC 3629: UTF-8, a transformation format of ISO 10646. 글자마다 바이트 수.