토큰과 토큰화: LLM 이 글을 읽는 단위

LLM(큰 언어 모델)은 글을 글자 하나씩도, 낱말 하나씩도 아닌 「토큰」이라는 조각으로 읽습니다. 그 토큰이 어떻게 만들어지는지 아래에서 직접 만들어 봅니다.

한 줄 답. LLM 은 글자나 낱말이 아니라 토큰이라는 조각 단위로 글을 읽고 씁니다. 토큰화는 글을 그 토큰으로 자르고 토큰마다 번호를 붙이는 일입니다. 자주 나오는 글자 묶음은 한 토큰이 되고, 드문 낱말은 여러 토큰으로 쪼개집니다. 요금과 길이 제한(컨텍스트 윈도우)도 토큰 수로 매깁니다.

지금 글이 나뉜 모습. 테두리 하나가 토큰 하나, ␣ 는 띄어쓰기, 굵은 주황 테두리는 방금 합친 토큰(그 쌍이 나온 모든 곳)

합친 규칙(배운 차례)

아직 합친 규칙이 없습니다.

    합칠수록 줄어드는 토큰 수

    작게 줄인 본보기. 진짜 토크나이저는 아주 많은 글로 수만~수십만 개의 토큰을 미리 만들어 둔 것이라, 여기서 나오는 토큰·개수와 다릅니다. 여기서는 짧은 글 하나로 배우고, 두 번 이상 붙어 나온 쌍만 합칩니다.

    1. 토큰과 토큰화

    토큰은 모델이 글을 읽고 쓰는 조각입니다. 토큰은 낱말 하나일 수도, 낱말의 일부일 수도, 글자 하나일 수도 있습니다. 바이트에서 출발하는 방식이면 글자의 일부(바이트)일 때도 있습니다.

    토큰화는 글을 그 토큰으로 자르고 토큰마다 번호를 붙이는 일입니다. 이 일을 하는 도구를 토크나이저, 쓸 수 있는 토큰을 모은 목록을 어휘라고 부릅니다. 모델은 글자를 보지 않습니다. 번호 시퀀스(sequence)를 받습니다.

    글 → 토큰으로 자르기 → 토큰마다 번호 → 번호 시퀀스 → 모델

    예: 위 실험에서 기본 예문을 끝까지 합치면 「␣고양이는」(띄어쓰기 + 고양이는)이 토큰 하나가 되고 번호는 30 입니다. 모델에게 이 낱말은 글자 다섯 개가 아니라 숫자 30 하나입니다. 모델이 답을 쓸 때도 번호를 하나씩 내놓고, 토크나이저가 그 번호를 다시 글로 바꿉니다.

    2. 왜 낱말도 글자도 아닌 그 사이인가

    단위좋은 점나쁜 점
    낱말글이 짧다. 토큰 수 = 낱말 수낱말이 너무 많다. 한국어는 「고양이는」, 「고양이가」, 「고양이를」이 모두 다른 낱말이다. 목록에 없는 새 낱말(이름, 새말, 오타)은 다룰 수 없다
    글자어휘가 작다. 어떤 낱말도 적을 수 있다글이 너무 길어진다. 모델이 한 번에 볼 수 있는 토큰 수가 정해져 있어 그만큼 손해다. 글자 하나에는 뜻이 거의 없다
    서브워드(subword, 그 사이)자주 나오는 낱말은 통째로 한 토큰, 드문 낱말은 몇 토큰. 어휘 크기와 글 길이를 함께 줄인다토큰이 뜻과 맞지 않을 때가 있다

    그래서 토큰의 크기를 얼마나 자주 나오는가로 정합니다. 많이 나오는 것은 크게, 드문 것은 작게. 이렇게 정하는 가장 널리 알려진 방법이 BPE 입니다.

    3. BPE: 가장 자주 붙어 나오는 쌍을 합치기

    BPE(바이트 쌍 인코딩)는 원래 파일을 줄이는 압축 방법이었습니다(Gage, 1994). Sennrich 등(2016)이 이것을 번역 모델의 토큰 만들기에 가져왔고, 지금 많은 LLM 의 토크나이저가 이 방식이나 그 변형을 씁니다. 절차는 이렇습니다.

    1. 글을 띄어쓰기로 낱말로 나누고, 낱말마다 글자(또는 바이트) 하나하나를 토큰으로 둡니다.
    2. 이웃한 두 토큰의 쌍을 모두 셉니다.
    3. 가장 많이 나온 쌍 하나를 새 토큰으로 합치고, 규칙 목록 끝에 적습니다.
    4. 정한 횟수(또는 정한 어휘 크기)에 닿을 때까지 2~3 을 되풀이합니다.
    토큰 = 글자 하나하나
    되풀이:
      쌍 세기: (A, B) 가 몇 번 붙어 나오나
      가장 많은 (A, B) 하나를 고른다
      글 속의 「A B」 를 모두 「AB」 로 바꾸고, 규칙 「A + B → AB」 를 적는다

    이 실험이 정한 것은 넷입니다.

    정한 것이 실험에서는
    낱말 경계띄어쓰기를 넘어 합치지 않습니다. 띄어쓰기는 뒤 낱말의 앞에 붙어(␣) 같이 합쳐집니다. 그래서 「␣고양이는」은 생겨도 「는␣잔」은 생기지 않습니다. 원 논문은 띄어쓰기 대신 낱말 끝에 표시를 붙였습니다. 경계를 넘지 않는 것은 같습니다
    같은 수일 때가장 많이 나온 쌍이 둘 이상이면 글에서 먼저 나온 쌍을 고릅니다. 그래서 늘 같은 결과가 나옵니다
    멈추는 때두 번 이상 붙어 나온 쌍이 없으면 멈춥니다. 한 번뿐인 쌍을 합치면 그 글을 외우기만 합니다. 500번에서도 멈춥니다
    세는 법「aaa」 처럼 겹치면 a+a 를 두 번 셉니다. 합칠 때는 앞에서부터 「aa a」 로 한 번만 합칩니다

    해 볼 것. ① 기본 예문에서 「다음 합치기」를 한 번 누르면 첫 규칙은 「다」+「.」 입니다(5번). 문장 끝 「다.」가 가장 자주 붙어 나와서입니다. BPE 는 뜻을 모르고 붙어 나온 횟수만 봅니다. ② 「처음으로」를 누르고 「10번 합치기」를 누르면 토큰이 74개에서 44개가 됩니다. 한 번 더 누르면 18번째에서 멈추고 28개가 남습니다. 그래프가 계단처럼 내려가다 멈춥니다. ③ 「바이트에서 출발」을 누르면 처음 토큰이 176개입니다. 한글 한 글자가 바이트 셋이라서입니다. 첫 규칙은 「␣」+「⟨EA⟩」(7번)로, 한글 글자의 일부를 합칩니다. 끝까지(42번) 합치면 36개가 됩니다.

    4. 손으로 따라 풀기: 세 번 합치기

    글 「고양이 고양이가 고양이를」로 해 봅니다. 낱말은 「고양이」, 「␣고양이가」, 「␣고양이를」 셋입니다. 처음에는 글자 하나하나가 토큰이라 13개입니다. 처음 쌍을 세면 「고+양」 3번, 「양+이」 3번, 「␣+고」 2번, 「이+가」 1번, 「이+를」 1번입니다.

    단계합친 쌍(나온 수)나뉜 모습토큰 수
    처음고|양|이|␣|고|양|이|가|␣|고|양|이|를13
    1고 + 양 (3번). 「양+이」도 3번이지만 「고+양」이 먼저 나왔다고양|이|␣|고양|이|가|␣|고양|이|를10
    2고양 + 이 (3번). 남은 쌍 가운데 가장 많다고양이|␣|고양이|가|␣|고양이|를7
    3␣ + 고양이 (2번). 나머지 쌍은 한 번씩이다고양이|␣고양이|가|␣고양이|를5

    이제 남은 쌍은 「␣고양이+가」와 「␣고양이+를」이 한 번씩뿐이라 멈춥니다. 규칙 목록은 고+양 → 고양, 고양+이 → 고양이, ␣+고양이 → ␣고양이 셋입니다. 맨 앞의 「고양이」는 앞에 띄어쓰기가 없어 「␣고양이」와 다른 토큰으로 남았습니다.

    해 볼 것. 「손 예제」를 누르고 「다음 합치기」를 세 번 누르세요. 토큰 수가 13 → 10 → 7 → 5 로 줄고, 위 표와 같은 규칙 셋이 쌓인 뒤 단추가 꺼집니다.

    5. 배운 규칙으로 새 글 자르기

    규칙을 다 배운 뒤에는 어떤 글이든 같은 방법으로 자릅니다. 띄어쓰기로 낱말을 나누고, 글자(또는 바이트)로 쪼갠 다음, 규칙을 배운 차례대로 하나씩 적용합니다. 그리고 토큰마다 어휘 목록의 번호를 붙입니다.

    토큰과 번호. 위 실험에서 배운 규칙으로 자릅니다. 주황 점선은 번호가 없는 글자(UNK)

    번호는 이 실험에서 이렇게 붙였습니다. 글자에서 출발하면 배운 글에 나온 글자가 나온 차례대로 0번부터, 합친 토큰은 그 뒤에 배운 차례대로입니다. 바이트에서 출발하면 0~255번이 바이트 하나씩이고, 합친 토큰은 256번부터입니다. 진짜 토크나이저의 번호 매기는 법은 저마다 다릅니다.

    배운 글에 자주 나온 낱말은 한 토큰이 되고, 처음 보는 낱말은 아는 작은 토큰들로 쪼개집니다. 글자에서 출발했는데 배운 글에 아예 없던 글자가 나오면 목록에 번호가 없습니다. 이런 글자는 「모름」을 뜻하는 특수 토큰 [UNK] 로 바뀌고, 모델은 그 글자가 무엇이었는지 알 수 없습니다.

    해 볼 것. ① 위 실험에서 「기본 예문」을 누르고(글자에서 출발) 「10번 합치기」를 두 번 누르세요(18번에서 멈춥니다). 새 글의 글자 28개가 토큰 16개가 됩니다. 배운 글에 있던 「␣고양이는」은 한 토큰(30번)이고, 처음 보는 「␣아이는」은 「␣」 「아」 「이」 「는」 네 토큰으로 쪼개집니다. ② 새 글에 「호랑이」를 넣으면 「호」와 「랑」은 배운 글에 없던 글자라 UNK 가 됩니다. ③ 위에서 「바이트에서 출발」로 바꾸면 UNK 가 사라지고, 「호」는 바이트 세 토큰 ⟨ED⟩ ⟨98⟩ ⟨B8⟩ 로 나옵니다.

    6. 글자, 바이트, 토큰

    컴퓨터는 글자를 바이트(0~255 사이의 수)로 저장합니다. 지금 가장 널리 쓰는 규칙인 UTF-8 에서는 글자마다 바이트 수가 다릅니다. 영어 글자, 숫자, 띄어쓰기는 1바이트, 「é」 같은 글자는 2바이트, 한글과 흔한 한자·일본 가나는 3바이트, 이모지는 대개 4바이트입니다. 「고」는 EA B3 A0 세 바이트입니다.

    글 A글 B
    글자 수
    UTF-8 바이트 수

    글자마다의 UTF-8 바이트(16진수)

    이 단위 고르기는 맨 위 실험의 것과 같습니다. 바꾸면 위 실험도 같이 바뀌고, 합치기 횟수는 0 으로 돌아갑니다.

    출발처음 목록좋은 점나쁜 점
    글자배운 글에 나온 글자한글 한 글자가 처음부터 한 토큰세상의 글자는 아주 많다. 배운 글에 없던 글자는 UNK 가 된다
    바이트바이트 256개어떤 글이든 적을 수 있다. UNK 가 없다한글은 한 글자가 바이트 세 토큰에서 출발한다. 합쳐 줄지 못하면 토큰이 많아진다

    바이트에서 출발한 토크나이저가 영어 글을 많이 보고 한국어 글을 적게 봤다면, 영어 낱말은 한 토큰으로 합쳐지고 한국어 낱말은 바이트 토큰이 많이 남습니다. 그러면 같은 뜻이라도 한국어 글의 토큰이 더 많습니다. 반대로 한국어 글을 많이 보고 배웠다면 한국어 토큰이 적게 나옵니다. 어떤 글로 배웠는지가 토큰 수를 정합니다.

    해 볼 것. ① 처음 값에서 글 A 「고양이는 잔다」는 글자 7개, 바이트 19개이고, 글 B 「the cat sleeps」는 글자 14개, 바이트 14개입니다. 글자로 세면 A 가 짧고, 바이트로 세면 A 가 깁니다. ② 글자에서 출발이면 글 B 의 토큰은 14개인데 그중 12개가 UNK 입니다. 배운 글(한국어)에 영어 글자가 없어서입니다. ③ 「바이트에서 출발」을 누르면 토큰 수가 바이트 수와 같아져 A 는 19개, B 는 14개입니다. 한글이 영어보다 토큰이 많습니다. UNK 는 없습니다. ④ 그대로 위 실험의 기본 예문을 끝까지(42번) 합치면 A 는 10개로 줄고 B 는 14개 그대로입니다. 한국어 글로 배웠기 때문입니다.

    7. 토큰 수 어림, 컨텍스트 윈도우, 요금

    어림. 영어 글은 흔한 낱말이 한 토큰, 드문 낱말이 몇 토큰이라 「낱말 하나에 토큰 한두 개쯤」으로 어림하곤 합니다. 하지만 정확한 비율은 토크나이저마다 다르고 언어마다 크게 다릅니다. 정확한 수가 필요하면 그 모델의 토크나이저로 직접 셉니다.

    컨텍스트 윈도우. 모델이 한 번에 볼 수 있는 토큰 수의 상한입니다. 넣는 글(지시, 앞의 대화, 붙인 문서)과 모델이 쓰는 답이 모두 이 안에 들어가야 합니다. 넘으면 앞부분을 잘라 내거나 줄여서 넣어야 합니다.

    요금. LLM 을 API 로 쓰면 보통 넣은 토큰 수와 나온 토큰 수로 값을 매깁니다. 같은 뜻이라도 토큰이 많이 나오는 글은 값이 더 들고 컨텍스트 윈도우도 더 많이 씁니다. 값은 모델마다 다르고 자주 바뀌니 그 모델의 안내를 봅니다.

    값 ≈ 넣은 토큰 수 × 넣는 단가 + 나온 토큰 수 × 나오는 단가

    8. 특수 토큰

    글에서 나오지 않고 표시만 하는 토큰도 어휘에 넣어 둡니다. 이것을 특수 토큰이라고 부릅니다. 이름과 모양은 모델마다 다릅니다.

    하는 일이름의 예
    글의 시작BOS, <s>, [CLS]
    글의 끝, 문장 사이EOS, </s>, [SEP]
    길이를 맞추려 채우는 칸PAD, [PAD]
    목록에 없음(모름)UNK, [UNK]

    예를 들어 BERT 는 글 맨 앞에 [CLS], 문장 사이에 [SEP] 를 넣습니다. 글을 쓰는 모델은 「끝」 토큰을 내놓으면 답 쓰기를 멈춥니다. 많은 대화용 모델은 「여기부터 사용자의 말」, 「여기부터 모델의 답」 같은 경계도 특수 토큰으로 표시합니다.

    9. 토큰화 때문에 생기는 일

    10. 꼭 알아야 할 성질

    성질쉬운 말
    자주 나오는 것은 크게, 드문 것은 작게흔한 낱말은 한 토큰, 드문 낱말은 여러 토큰
    합칠수록 목록은 늘고 글은 짧아진다합치기 한 번에 어휘가 하나 늘고, 토큰 수는 줄어든다. 그래프가 내려간다
    뜻을 모른다붙어 나온 횟수만 본다. 첫 규칙이 「다」+「.」인 것처럼
    배운 뒤에는 늘 같게 자른다같은 규칙, 같은 글이면 같은 토큰과 번호
    바이트에서 출발하면 모르는 글자가 없다바이트 256개로 어떤 글이든 적을 수 있다

    11. 다른 방식: WordPiece, SentencePiece, 유니그램

    이름BPE 와 다른 점
    WordPieceBPE 처럼 합쳐 가지만, 가장 많이 나온 쌍이 아니라 합쳤을 때 학습 글을 가장 잘 설명하게(확률이 가장 크게 오르게) 되는 쌍을 고릅니다. BERT 가 씁니다
    유니그램거꾸로 큰 목록에서 출발해, 빼도 손해가 적은 토큰을 지워 가며 줄입니다. 자를 때는 확률이 가장 높은 자르기를 고릅니다
    SentencePiece방식이 아니라 도구 이름입니다. 띄어쓰기도 「▁」라는 글자로 다뤄, 띄어쓰기가 없는 언어도 미리 낱말로 나누지 않고 바로 배웁니다. 안에서 BPE 나 유니그램을 고릅니다

    어디에 쓰나

    자주 묻는 것

    토큰이 뭔가요?

    LLM 이 글을 읽고 쓰는 조각 단위입니다. 낱말 하나일 수도, 낱말의 일부나 글자 하나일 수도 있습니다. 토큰마다 번호가 있고, 모델은 이 번호 시퀀스를 받습니다.

    토큰 하나는 글자 몇 개인가요?

    정해져 있지 않습니다. 토크나이저와 언어에 따라 다릅니다. 자주 나오는 낱말은 통째로 한 토큰, 드문 낱말은 여러 토큰입니다. 정확한 수는 그 모델의 토크나이저로 세어 봐야 합니다.

    왜 한국어는 토큰이 더 많이 나올 때가 있나요?

    한글 한 글자는 UTF-8 로 3바이트입니다. 바이트에서 출발하는 토크나이저가 한국어 글을 적게 보고 배웠다면 한국어 낱말이 큰 토큰으로 합쳐지지 않아 토큰이 많이 나옵니다. 차이는 토크나이저마다 다릅니다.

    LLM 이 글자 수 세기를 자주 틀리는 까닭은 무엇인가요?

    모델은 글자가 아니라 토큰 번호를 받기 때문입니다. 한 토큰 안에 어떤 글자가 몇 개 들었는지는 번호에 드러나지 않습니다. 그래서 글자 세기나 철자 뒤집기처럼 글자 하나하나를 봐야 하는 일에 약합니다.

    BPE, WordPiece, SentencePiece 는 무엇이 다른가요?

    BPE 는 가장 자주 붙어 나오는 쌍을 합칩니다. WordPiece 는 합쳤을 때 학습 글을 가장 잘 설명하게 되는 쌍을 합칩니다. SentencePiece 는 띄어쓰기까지 글자로 다루는 도구 이름이고, 그 안에서 BPE 나 유니그램 방식을 씁니다.

    낱말

    여기서 쓴 말책에서 부르는 말
    모델이 글을 읽고 쓰는 단위토큰(token)
    글을 조각으로 자르고 번호 붙이기토큰화(tokenization)
    자르는 도구(규칙과 목록)토크나이저(tokenizer)
    쓸 수 있는 토큰의 목록어휘(vocabulary), 어휘 크기(vocabulary size)
    토큰 번호토큰 ID(token id)
    낱말보다 작은 조각서브워드(subword)
    가장 자주 붙어 나오는 쌍을 합치기바이트 쌍 인코딩(byte pair encoding, BPE)
    합친 규칙병합 규칙(merge rules, merges)
    바이트에서 출발하는 BPE바이트 수준 BPE(byte-level BPE)
    띄어쓰기로 먼저 나누기사전 토큰화(pre-tokenization)
    「모름」을 뜻하는 토큰미지 토큰(unknown token, [UNK])
    표시만 하는 토큰특수 토큰(special token)
    한 번에 볼 수 있는 토큰 수컨텍스트 윈도우(context window), 문맥 길이(context length)
    글자를 바이트로 적는 규칙문자 인코딩(character encoding), UTF-8

    출처

    ← 자료 분포 변화(드리프트)와 운영 감시임베딩 →