청킹: 문서를 청크로 자르기

RAG 가 문서에서 답을 찾게 하려면 먼저 문서를 청크(chunk)라는 조각으로 잘라 둬야 합니다. 어디서, 얼마나 자르느냐에 따라 같은 질문의 답이 한 청크에 온전히 들어가기도 하고 두 청크로 잘려 나가기도 합니다. 아래 글을 직접 잘라 보세요.

한 줄 답. 청킹은 긴 문서를 검색하기 좋은 크기의 청크로 자르는 일입니다. 청크가 너무 크면 관계없는 내용이 섞이고 비싸지며, 너무 작으면 앞뒤 맥락이 끊깁니다. 그래서 문장·문단 경계에 맞춰 자르고, 청크끼리 조금 겹치게 합니다.

색 띠와 번호 = 청크. 이웃한 청크는 색이 다릅니다. 줄무늬 = 두 청크에 모두 들어간 겹친 부분. 굵은 밑줄 = 고른 질문의 답 문장.

질문으로 시험하기

청크 목록

    다른 글로 해 보기

    붙여 넣은 글은 이 브라우저 안에서만 자릅니다. 아무 데도 보내지 않고 저장하지도 않습니다. 5,000자까지 씁니다.

    작게 줄인 본보기입니다. 실제로는 크기를 토큰 수로 재지만 여기서는 보기 쉽게 글자 수(빈칸과 줄바꿈 포함)로 잽니다. 검색은 하지 않습니다. 「온전함」은 답이 청크 하나에 다 들어 있다는 뜻이고, 그 청크가 실제로 찾힌다는 뜻은 아닙니다. 본보기 글은 지어낸 가게의 안내문입니다.

    1. 왜 자르나

    RAG 는 질문을 받으면 미리 저장해 둔 글에서 질문과 가까운 것을 찾아 언어 모델에게 같이 넘깁니다. 이때 찾는 단위가 청크입니다. 문서를 청크로 자르는 일을 청킹(chunking)이라고 부릅니다. 자르는 까닭은 둘입니다.

    1. 길이에 상한이 있습니다. 글을 숫자 목록(벡터)으로 바꾸는 임베딩 모델은 한 번에 받을 수 있는 길이가 정해져 있고, 그보다 긴 글은 뒷부분이 잘려 버려지기도 합니다. 답을 쓰는 언어 모델도 한 번에 읽는 길이(컨텍스트 윈도우, context window)에 상한이 있고, 길게 넣을수록 느리고 비쌉니다.
    2. 청크 하나가 벡터 하나입니다. 긴 글을 통째로 벡터 하나로 만들면 여러 이야기의 뜻이 한데 섞여, 어느 질문과도 어중간하게 가까워집니다. 한 청크에 한 가지 이야기가 담겨 있어야 그 이야기를 묻는 질문과 가깝게 나옵니다. 책 한 권에 색인 낱말을 하나만 붙이는 것과 쪽마다 붙이는 것의 차이입니다.

    그렇다고 작게만 자르면 맥락이 끊깁니다. 「월요일은 쉽니다.」만 든 청크는 무엇이 쉬는지 모릅니다. 답 문장이 두 청크에 반씩 들어가면 어느 청크도 답을 다 갖지 못합니다.

    청크가좋은 점나쁜 점
    너무 크면앞뒤 맥락이 같이 들어간다. 청크 수가 적다관계없는 내용이 섞여 뜻이 흐려진다. 언어 모델에 넘기는 글이 길어져 비싸다
    너무 작으면뜻이 또렷해 질문과 잘 맞는다앞뒤 맥락이 끊긴다. 답이 여러 청크에 나뉜다. 청크 수가 많다

    2. 자르는 방식

    어디를 경계로 삼느냐에 따라 이름이 다릅니다. 실험에서 위의 네 단추가 앞의 네 방식입니다.

    방식하는 일좋은 점약한 점
    고정 길이글자나 토큰 수만 세어 일정하게 자른다단순하고 빠르다. 크기가 고르다낱말과 문장 가운데서 잘린다
    문장 단위문장을 자르지 않고, 크기 안에서 이웃 문장을 모은다문장이 온전하다문장 끝을 찾는 규칙이 언어마다 다르다
    문단 단위빈 줄로 나뉜 문단을 자르지 않고, 크기 안에서 모은다글쓴이가 나눈 뜻의 덩어리를 따른다긴 문단은 크기를 넘고, 제목 줄이 본문과 떨어지기도 한다
    제목·구조 단위제목, HTML 태그, 마크다운 같은 문서 구조를 따라 자른다한 청크에 한 주제가 담기기 쉽다. 제목을 정보로 붙이기 좋다구역마다 길이가 들쭉날쭉하다. 구조가 없는 글에는 못 쓴다
    시맨틱 청킹(semantic chunking)이웃 문장끼리 임베딩을 비교해 뜻이 크게 바뀌는 곳에서 자른다주제가 바뀌는 곳을 찾는다문장마다 임베딩을 계산해야 해서 비싸다. 이 실험에는 없다

    실제 도구는 이것을 섞어 씁니다. 흔한 방법은 큰 경계부터 시도하는 재귀 분할(recursive splitting)입니다. 문단으로 나눠 보고, 크기를 넘는 문단만 문장으로, 그래도 넘으면 낱말로 나눕니다.

    해 볼 것. ① 처음 설정(고정 글자 수, 크기 100, 오버랩 0)은 청크 6개입니다. 질문 1 은 청크 1, 2 에, 질문 2 는 청크 2, 3 에 걸려 「잘림」입니다. ② 오버랩은 0 그대로 두고 「문장 단위로 채우기」를 누르면 청크 7개가 되고 질문 1~3 이 모두 「온전함」입니다. 늘어난 분량은 0% 입니다. ③ 「문단 단위」에서는 청크 1 이 제목 줄 둘만 담긴 28자 청크입니다. 다음 문단(96자)을 더하면 100자를 넘기 때문입니다. ④ 「제목 단위」는 청크 6개이고, 가장 짧은 것이 70자, 가장 긴 것이 128자입니다.

    3. 크기와 오버랩

    청크 크기(chunk size)는 청크 하나의 길이 상한입니다. 오버랩(overlap)은 이웃한 두 청크가 함께 갖는 부분의 길이입니다. 고정 길이로 자를 때의 절차는 이렇습니다.

    걸음 = 크기 − 오버랩
    청크 k 의 시작 = k × 걸음 (k = 0, 1, 2, …)
    청크 k = 원문의 [시작, 시작 + 크기) 글자 (마지막 청크는 글 끝까지)
    늘어난 분량 = (청크 길이의 합 ÷ 원문 길이 − 1) × 100%

    오버랩이 있으면 경계에 걸린 문장이 앞 청크 끝과 다음 청크 앞에 두 번 들어갑니다. 한쪽에서 잘려도 다른 쪽에 통째로 남을 기회가 생깁니다. 고정 길이에서는 오버랩이 L 자 이상이면, 길이가 L 자 이하인 문장은 반드시 어느 한 청크에 통째로 들어갑니다. 문장이 어디서 시작하든 그 자리를 품은 청크가 문장 끝까지 오버랩만큼 더 뻗어 있기 때문입니다.

    오버랩에는 값이 있습니다. 걸음이 짧아져 청크 수가 늘고, 그만큼 임베딩을 더 계산하고 더 저장합니다. 크기 s, 오버랩 o 이면 분량이 대략 s ÷ (s − o) 배가 됩니다. 오버랩이 크기의 절반이면 거의 두 배입니다. 같은 문장이 든 청크 둘이 함께 찾히면 언어 모델에 같은 내용을 두 번 넘기게 됩니다.

    문장 단위로 채울 때의 오버랩은 글자 단위가 아닙니다. 앞 청크 끝의 문장 가운데 합쳐서 오버랩 길이 이하인 것을 다음 청크 앞에 통째로 다시 넣습니다. 문장 하나가 오버랩보다 길면 겹치지 않습니다.

    해 볼 것. ① 고정 글자 수, 크기 100 에서 오버랩을 30 으로 올리면 질문 1~3 이 모두 「온전함」이 됩니다. 대신 청크가 6개에서 8개로 늘고, 늘어난 분량이 39% 입니다. ② 오버랩 20 에서는 질문 1 이 아직 잘립니다. 답 문장이 27자인데 오버랩이 그보다 짧아, 경계가 문장 가운데 떨어지면 어느 쪽에도 통째로 들어가지 못합니다. ③ 크기를 120 으로 바꾸면 오버랩 15 에서는 질문 1~3 이 모두 온전한데, 오버랩 20 에서는 질문 2 가 잘립니다. 오버랩을 바꾸면 경계도 함께 옮겨지기 때문입니다. 오버랩을 늘린다고 늘 나아지지는 않습니다.

    4. 손으로 따라 자르기: 크기 20, 오버랩 5

    아래 글은 빈칸까지 세어 43자입니다. 자리는 0 부터 셉니다. 표의 ␣ 는 빈칸입니다.

    고양이는 잠이 많다. 하루에 열여섯 시간쯤 잔다. 밤에는 집 안을 돌아다닌다.

    1. 걸음. 20 − 5 = 15.
    2. 시작 자리. 0, 15, 30. 30 에서 시작한 청크가 글 끝(43)에 닿으므로 여기서 멈춥니다.
    3. 청크. 시작 자리부터 20자씩 자릅니다. 마지막 청크는 남은 13자입니다.
      청크자리길이내용
      10 ~ 1920고양이는 잠이 많다. 하루에 열여섯␣
      215 ~ 3420␣열여섯 시간쯤 잔다. 밤에는 집 안
      330 ~ 4213는 집 안을 돌아다닌다.
    4. 겹친 곳. 15 ~ 19 의 ␣열여섯␣ 는 청크 1, 2 에, 30 ~ 34 의 는 집 안 은 청크 2, 3 에 모두 들어 있습니다.
    5. 늘어난 분량. 20 + 20 + 13 = 53. 원문 43자보다 10자 많습니다. 53 ÷ 43 − 1 ≈ 23%.
    6. 잘린 문장. 둘째 문장 「하루에 열여섯 시간쯤 잔다.」(자리 12 ~ 26, 15자)는 청크 1 에 앞쪽만, 청크 2 에 뒤쪽만 들어 있습니다. 어느 청크에도 통째로 없습니다. 셋째 문장도 마찬가지입니다. 오버랩 5 가 문장 길이보다 짧아서입니다.

    같은 글을 「문장 단위로 채우기」(크기 20, 오버랩 5)로 자르면 문장 하나가 청크 하나가 됩니다. 청크 길이는 12자, 16자, 15자입니다(문장 뒤의 빈칸 포함). 두 문장을 합치면 20자를 넘기 때문입니다. 문장마다 오버랩 5 보다 길어서 겹치는 부분은 없습니다.

    해 볼 것. 실험의 「손 예제 글(크기 20, 오버랩 5)」을 누르면 이 표와 같은 청크 3개가 나오고, 늘어난 분량이 23% 로 나옵니다. 그대로 「문장 단위로 채우기」를 누르면 청크 3개, 늘어난 분량 0% 입니다.

    5. 크기는 글자가 아니라 토큰으로 잰다

    모델은 글을 글자가 아니라 토큰이라는 조각으로 읽습니다. 모델이 한 번에 받는 길이의 상한도, 쓴 만큼 내는 값도 토큰 수로 정해집니다. 그래서 실제 청킹은 쓸 모델의 토크나이저로 토큰을 세어 크기를 잽니다.

    글자 수와 토큰 수는 일정하게 맞지 않습니다. 같은 글자 수라도 언어와 토크나이저에 따라 토큰 수가 크게 다릅니다. 「500자」로 맞춘 청크가 어떤 모델에서는 상한 안이고 다른 모델에서는 넘을 수 있습니다. 임베딩 모델의 상한을 넘는 청크는 뒷부분이 잘린 채 벡터가 되어, 뒷부분의 내용으로는 찾히지 않을 수 있습니다.

    6. 청크에 붙여 두는 정보

    청크는 원래 문서에서 떨어져 나온 글입니다. 어디서 왔는지 모르면 출처를 보여 줄 수 없고, 누가 봐도 되는지도 모릅니다. 그래서 청크마다 정보(메타데이터)를 붙여 저장합니다.

    정보예쓰임
    문서 이름 · 주소공방 안내.md답 아래에 출처를 보여 주고 원문으로 잇는다
    제목 경로공방 안내 › 돌려받기출처 표시. 청크 글 앞에 붙여 임베딩하면 무엇에 대한 글인지가 청크 안에 남는다
    쪽 번호 · 원문 자리3쪽, 글자 335 ~ 366원문의 그 자리로 바로 간다. 이웃 청크를 더 가져온다
    날짜 · 판2026-03 판옛 판을 걸러 내고 최신 판만 찾는다
    볼 수 있는 사람직원만검색할 때 권한으로 먼저 걸러 낸다

    쓰임은 크게 둘입니다. 메타데이터 필터링: 검색할 때 「이 사람이 볼 수 있고, 최신 판인 청크 가운데서」처럼 조건을 같이 겁니다. 권한 걸러 내기는 특히 중요합니다. 볼 수 없는 청크가 언어 모델에 들어가면 답에 섞여 새어 나갑니다. 출처 표시: 답 아래에 어느 문서의 어느 부분에서 왔는지 보여 주면, 읽는 사람이 원문을 열어 확인할 수 있습니다.

    7. 자르면 안 되는 것

    이 실험의 규칙(빈 줄, # 제목 줄)은 표와 코드를 알아보지 못합니다. 실제로는 문서 형식(HTML, 마크다운, PDF)을 읽어 구조를 먼저 알아낸 뒤 자릅니다.

    8. 자르는 것만으로는 안 되는 경우

    질문 4 「전기 자전거를 빌리고 5분 만에 반납하면 얼마를 돌려받나요?」의 답에는 두 문장이 필요합니다. 「돌려받기」의 규칙(10분 안이면 모두 돌려준다)과 「전기 자전거」의 예외(언제나 2천 원을 뺀다)입니다. 둘은 다른 문단에 있습니다. 규칙이 든 청크만 찾히면 언어 모델은 「모두 돌려받는다」고 틀리게 답합니다.

    이런 경우는 어떻게 잘라도 잘 풀리지 않습니다. 청크를 아주 크게 하면 두 문장이 한 청크에 들어갈 수 있지만, 그 청크는 다른 질문에서 관계없는 내용을 잔뜩 끌고 옵니다. 그래서 자르는 것 밖에서 함께 풉니다.

    작은 청크로 찾고, 큰 청크를 넘겨주기(부모-자식 검색). 찾기에는 뜻이 또렷한 작은 청크가 낫고, 답하기에는 맥락이 넉넉한 큰 청크가 낫습니다. 그래서 둘을 나눕니다. 문서를 큰 청크(부모: 구역 하나)로 자르고, 부모를 다시 작은 청크(자식: 문장 몇 개)로 자릅니다. 검색은 자식으로 하고, 찾힌 자식이 속한 부모를 언어 모델에게 넘깁니다. 자식마다 부모의 번호를 정보로 붙여 두면 됩니다. 맥락이 끊기는 문제는 줄지만, 질문 4 처럼 멀리 떨어진 두 구역에 걸친 답은 여전히 두 부모가 모두 찾혀야 합니다.

    해 볼 것. 질문 4 를 고르세요. 처음 설정에서는 청크 4, 6 에 「흩어짐」입니다. 「제목 단위」에서도 청크 4, 6 에 흩어집니다. 고정 글자 수로 크기를 300 으로 키우면 청크 2개 가운데 청크 2 에 함께 들어가지만, 400 으로 키우면 청크 1, 2 에 다시 흩어집니다. 경계가 어디 떨어지느냐에 달린 운입니다.

    9. 꼭 알아야 할 성질

    성질쉬운 말
    청크 하나 = 벡터 하나한 청크에 한 이야기가 담겨야 그 이야기를 묻는 질문에 찾힌다
    크기를 키우면 청크 수가 줄고, 한 청크에 섞이는 내용이 는다맥락과 또렷함을 맞바꾼다
    고정 길이: 오버랩 ≥ L 이면 길이 L 이하 문장은 반드시 한 청크에 통째로오버랩이 답 문장보다 길면 경계에 걸려도 살아남는다
    분량은 대략 크기 ÷ (크기 − 오버랩) 배오버랩이 크기의 절반이면 저장과 계산이 거의 두 배
    경계를 옮기면 잘리는 문장이 바뀐다한 질문을 살린 설정이 다른 질문을 자를 수 있다. 질문 여럿으로 재야 한다

    10. 정답 크기는 없다: 내 질문으로 재 보기

    좋은 크기와 방식은 글의 종류(짧은 질문과 답, 긴 계약서, 코드), 질문의 모양, 임베딩 모델에 따라 달라집니다. 어디서 본 숫자 하나를 정답으로 삼지 않습니다.

    1. 실제로 받을 질문을 수십 개 모으고, 질문마다 답이 들어 있는 문서와 자리를 적어 둡니다.
    2. 설정(방식, 크기, 오버랩)마다 문서를 잘라 저장하고, 질문으로 검색합니다.
    3. 답이 든 청크가 상위 k개 안에 찾히는 비율을 셉니다. 재는 법은 검색 평가 지표에 있습니다.
    4. 가장 나은 설정을 고르고, 문서가 바뀌면 다시 잽니다.

    이 쪽의 「질문으로 시험하기」는 그 첫걸음을 작게 줄인 것입니다. 검색은 하지 않고, 답이 청크 하나에 온전히 들어갔는지만 봅니다. 설정을 바꾸면 모든 청크를 다시 임베딩해야 하므로, 저장할 때 어떤 설정으로 잘랐는지 판 번호를 같이 적어 둡니다.

    어디에 쓰나

    자주 묻는 것

    청킹이 뭔가요?

    긴 문서를 검색하기 좋은 크기의 청크로 자르는 일입니다. RAG 에서는 이 청크 하나하나를 벡터로 바꿔 저장해 두고, 질문과 가까운 청크를 찾아 언어 모델에게 넘깁니다.

    청크 크기는 얼마로 하면 되나요?

    모두에게 맞는 정답은 없습니다. 글의 종류, 질문의 모양, 임베딩 모델에 따라 달라집니다. 실제로 받을 질문과 그 답이 있는 곳을 적어 두고, 크기를 바꿔 가며 답이 든 청크가 찾히는 비율을 재 보고 고릅니다.

    오버랩은 꼭 넣어야 하나요?

    고정 길이로 자를 때는 경계에 걸린 문장을 살리는 데 도움이 됩니다. 대신 청크 수와 저장 분량이 늘고, 같은 내용이 검색 결과에 두 번 나올 수 있습니다. 문장이나 문단 경계에 맞춰 자르면 오버랩이 덜 필요합니다.

    글자 수와 토큰 수 가운데 무엇으로 재나요?

    토큰 수로 잽니다. 모델이 한 번에 받는 길이의 상한과 비용이 토큰으로 정해지기 때문입니다. 같은 글자 수라도 언어와 토크나이저에 따라 토큰 수가 다릅니다.

    시맨틱 청킹이 늘 더 좋은가요?

    아닙니다. 문장마다 임베딩을 계산해야 해서 비싸고, 고정 길이보다 늘 낫지는 않았다는 연구도 있습니다. 내 문서와 질문으로 재 보고 고릅니다.

    낱말

    여기서 쓴 말책에서 부르는 말
    문서를 청크로 자르기청킹(chunking), 텍스트 분할(text splitting)
    문서를 자른 조각청크(chunk), 패시지(passage)
    청크 하나의 길이 상한청크 크기(chunk size)
    이웃한 청크가 함께 갖는 부분청크 오버랩(chunk overlap)
    큰 경계부터 시도해 크기에 맞추기재귀 분할(recursive splitting)
    뜻 기준 자르기시맨틱 청킹(semantic chunking)
    청크에 붙여 두는 정보메타데이터(metadata)
    정보로 걸러 내기메타데이터 필터링(metadata filtering)
    작은 청크로 찾고 큰 청크를 넘겨주기부모-자식 검색(parent-child retrieval), small-to-big
    글을 숫자 목록으로 바꾸는 모델임베딩 모델(embedding model)
    모델이 한 번에 받는 길이의 상한최대 입력 길이(max sequence length), 컨텍스트 윈도우(context window)
    모델이 글을 읽는 단위토큰(token)

    출처

    ← RAG벡터 검색 →