컨텍스트 윈도우와 KV 캐시
언어 모델에는 한 번에 볼 수 있는 글의 길이가 정해져 있습니다. 그리고 답을 한 토큰씩 만들 때마다 앞의 글을 다시 계산하면 일이 계단처럼 쌓입니다. 칸을 직접 세며 KV 캐시가 무엇을 아끼는지 봅니다.
한 줄 답. 컨텍스트 윈도우(context window)는 모델이 한 번에 볼 수 있는 토큰 수입니다. 넣는 글(입력)과 만드는 글(출력)이 이 윈도우를 나눠 씁니다. 넘치면 자르거나, 요약하거나, 필요한 부분만 검색해서 넣습니다. KV 캐시는 한 토큰씩 만들 때 앞 토큰들의 계산 결과(K, V)를 저장해 두는 것입니다. 캐시가 없으면 토큰 n 개를 만드는 데 n(n + 1) ÷ 2 칸을, 있으면 n 칸을 계산합니다.
줄 하나가 걸음 하나입니다. 걸음 t 에서 글에는 토큰이 t 개 있고, 모델은 그다음 토큰을 만듭니다. 초록 칸은 그 걸음에 층들을 통과시켜 계산한 토큰, 회색 칸은 캐시에서 꺼내 읽기만 한 토큰입니다. 진짜 모델이 아니라 「계산한 토큰 자리 수」만 세는 작게 줄인 본보기입니다(4절).
해 볼 것. ① 처음(n = 10, 캐시 없음)은 초록 칸이 55 개입니다. 「캐시 있음」을 누르면 10 개로 줄고, 회색 칸 45 개가 그 자리를 채웁니다. 5.5 배 차이입니다. ② 막대를 100 으로 옮기면 5,050 칸 대 100 칸, 50.5 배가 됩니다. ③ n = 1 이면 둘 다 1 칸입니다. 다시 계산할 앞 토큰이 없어서 캐시가 아낄 것이 없습니다.
1. 컨텍스트 윈도우란
모델은 글을 낱자가 아니라 토큰(낱말이나 낱말 조각)으로 읽습니다. 컨텍스트 윈도우는 모델이 한 번 부를 때 다룰 수 있는 토큰 수의 상한입니다. 이 안에 들어가는 것은 다음 모두입니다.
- 입력: 시스템 지시, 앞서 나눈 대화, 붙여 넣은 문서, 지금 질문.
- 출력: 모델이 만드는 답. 답도 한 토큰씩 글 끝에 붙어 다음 토큰의 입력이 되므로 같은 윈도우를 씁니다.
그래서 긴 문서를 넣을수록 답할 자리가 줄어듭니다. 윈도우 크기는 모델을 만들 때 정해지고, 모델마다 다릅니다.
윈도우에 끝이 있는 까닭은 길이에 따라 일이 커지기 때문입니다. 어텐션에서 토큰마다 앞의 모든 토큰과 점수를 내므로, 글이 두 배 길어지면 점수 수는 네 배쯤 됩니다. 아래에서 볼 KV 캐시의 메모리도 토큰 수만큼 늘어납니다.
2. 넘치면: 자르기, 요약, 검색해서 넣기
윈도우보다 긴 글은 모델이 받지 못합니다. API 는 요청을 거절하고, 출력은 윈도우나 정해 둔 상한에 닿으면 그 자리에서 멈춥니다. 긴 글을 다루는 길은 셋입니다.
- 자르기: 오래된 대화처럼 덜 중요한 부분을 뺍니다. 가장 쉽지만 뺀 내용은 모델이 모릅니다.
- 요약: 오래된 부분을 짧게 줄여 넣습니다. 줄거리는 남고 세부는 사라집니다.
- 검색해서 넣기: 자료를 조각내 두고(청킹), 질문과 가까운 조각만 찾아 넣습니다(RAG). 윈도우보다 훨씬 큰 자료도 다룰 수 있습니다.
무엇을 고를지는 10절의 표에 모았습니다.
3. KV 캐시: 앞 토큰을 다시 계산하지 않기
모델은 답을 한 번에 쓰지 않습니다. 다음 토큰 하나를 고르고(샘플링), 그것을 글 끝에 붙여 다시 다음 토큰을 고릅니다. 걸음마다 새 토큰은 어텐션으로 앞 토큰들을 봅니다. 이때 앞 토큰마다 필요한 것이 둘입니다. K(키, 「나는 이런 내용이다」라는 표지)와 V(밸류, 실제로 가져갈 내용)입니다.
캐시가 없으면 걸음마다 글 전체를 처음부터 층들에 통과시켜 K, V 를 다시 만듭니다. 그런데 글을 만드는 트랜스포머는 토큰마다 앞 토큰만 보게 막혀 있습니다(인과 마스크). 그래서 뒤에 무엇이 붙어도 앞 토큰의 K, V 는 바뀌지 않습니다. 바뀌지 않을 값을 걸음마다 다시 만들 까닭이 없으니, 층마다 저장해 두고 새 토큰의 K, V 만 덧붙입니다. 이 저장소가 KV 캐시입니다.
실제로는 질문(입력)을 먼저 한 번에 통째로 계산해 캐시를 채우고(프리필), 그다음부터 답을 한 토큰씩 만듭니다(디코드). 위 실험은 디코드만 떼어 토큰 1 개에서 n 개까지 한 토큰씩 늘어나는 경우를 봅니다.
4. 식이 만들어지는 과정: n(n + 1) ÷ 2 와 n
위 실험의 계단 그림으로 캐시 없는 생성의 계산량을 셉니다. 여기서 세는 것은 「층에 통과시킨 토큰 자리 수」라는 단순한 모형입니다. 토큰 하나를 층 전체에 한 번 통과시키는 일을 한 칸으로 셉니다. 그림과 숫자는 위 실험의 토큰 수 n 을 따릅니다.
n = 100 이면 이렇게 됩니다.
- 계단 세기:
1 + 2 + 3 + … + 100. 걸음 t 에서 토큰 t 개를 모두 다시 계산하므로 줄 t 에 칸이 t 개입니다. 칸을 하나씩 더하면 됩니다. 하지만 100 개를 더하기 전에 더 쉬운 길이 있습니다. - 뒤집어 붙이기:
2 × (1 + 2 + … + 100) = 100 × 101. 같은 계단을 뒤집어 옆에 붙이면 줄 t 에t + (101 − t) = 101칸이 됩니다. 어느 줄이든 101 칸이고 줄이 100 개라, 계단 두 개는 직사각형100 × 101 = 10,100칸입니다. 까닭: 짧은 줄과 긴 줄을 짝지으면 길이가 고르게 되어 곱하기 한 번으로 셀 수 있습니다. - 반으로 나누기:
1 + 2 + … + 100 = 10,100 ÷ 2 = 5,050. 계단 하나는 직사각형의 반입니다. 어느 n 이든 같은 방법이라1 + 2 + … + n = n(n + 1) ÷ 2입니다. n 이 두 배가 되면 칸 수는 네 배쯤 됩니다. - 캐시가 있으면:
1 + 1 + … + 1 = 100. 앞 토큰의 K, V 를 꺼내 쓰고 새 토큰 한 칸만 계산합니다.5,050 ÷ 100 = 50.5배 적습니다. 일반식으로n(n + 1) ÷ 2 ÷ n = (n + 1) ÷ 2라서 글이 길수록 차이가 벌어집니다.
이 모형이 빼놓은 것. 캐시가 없애는 것은 앞 토큰을 층에 다시 통과시키는 일입니다. 새 토큰이 앞 토큰 t 개의 K 와 점수를 내고 V 를 섞는 어텐션의 일은 그대로 남아, 걸음 t 마다 t 에 비례해 늘어납니다. 캐시를 메모리에서 읽는 시간도 듭니다. 그래서 실제 시간 차이는 50.5 배와 다릅니다.
해 볼 것. ① 처음(n = 10)에 「다음」을 누르면 보라 계단이 붙어 줄마다 11 칸, 직사각형 110 칸이 됩니다. ② 한 번 더 누르면 반쪽 55 칸이 남습니다. ③ 마지막 단계에서 초록 칸이 10 개만 남고 「5.5 배 적습니다」가 나옵니다. ④ 위 실험의 막대를 100 으로 옮기고 단계를 다시 넘기면 10,100, 5,050, 100, 50.5 가 나옵니다.
5. 손으로 따라가기: 토큰 4 개
토큰 1 개에서 시작해 4 개가 될 때까지 걸음마다 계산하는 자리를 적습니다.
| 걸음 | 그때 글의 토큰 | 캐시 없음: 계산하는 자리 | 캐시 있음: 계산하는 자리 | 걸음 뒤 캐시에 든 토큰 |
|---|---|---|---|---|
| 1 | 1 | 1 (1 개) | 1 (1 개) | 1 |
| 2 | 2 | 1, 2 (2 개) | 2 (1 개) | 2 |
| 3 | 3 | 1, 2, 3 (3 개) | 3 (1 개) | 3 |
| 4 | 4 | 1, 2, 3, 4 (4 개) | 4 (1 개) | 4 |
| 합 | 10 = 4 × 5 ÷ 2 | 4 |
캐시의 크기도 셉니다. 층이 2 개이고 K 와 V 가 숫자 8 개짜리인 지어낸 작은 모델이라면, 4 걸음 뒤 캐시에는 층마다 K 4 × 8 개와 V 4 × 8 개가 있습니다. 모두 2 × 2 × 4 × 8 = 128 개의 숫자이고, 숫자 하나가 2 바이트(16 비트)면 256 바이트입니다.
6. 캐시가 차지하는 메모리
손 예제를 일반식으로 적으면 이렇습니다.
캐시 크기 = 2 × 층 수 × 토큰 수 × 차원 × 숫자 하나의 바이트 수
(동시에 만드는 글이 여럿이면 그 수만큼 또 곱한다)
2 는 K 와 V 둘이라서입니다. 차원은 토큰 하나의 K(또는 V) 길이입니다. 층 수와 차원은 모델이 정하니, 한 모델 안에서는 토큰 수에 정비례합니다. 예를 들어 층 32 개, 차원 4,096, 숫자 하나 2 바이트인 모델(지어낸 크기)이면 토큰 하나에 2 × 32 × 4,096 × 2 = 524,288 바이트(약 0.5 MB)이고, 토큰 1,000 개면 524,288,000 바이트(약 0.5 GB)입니다. 이 메모리는 모델의 가중치와 같은 기계에 함께 올라가야 하므로, 글이 길수록 그리고 동시에 받는 요청이 많을수록 기계 하나가 감당할 수 있는 양이 줄어듭니다.
7. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 입력과 출력이 한 윈도우를 나눠 쓴다 | 긴 문서를 넣으면 답할 자리가 준다 |
| 앞 토큰의 K, V 는 뒤에 무엇이 붙어도 바뀌지 않는다 | 토큰마다 앞만 보게 막혀 있어서다(인과 마스크). 그래서 저장해 다시 쓸 수 있다 |
| 캐시가 없애는 것은 앞 토큰을 다시 계산하는 일 | 새 토큰이 앞 토큰 모두를 보는 어텐션의 일은 남는다. 글이 길수록 걸음 하나도 조금씩 무거워진다 |
| 캐시 메모리는 토큰 수에 정비례 | 2 × 층 × 토큰 × 차원 × 바이트. 동시 요청 수만큼 또 곱한다 |
| 프롬프트 캐시는 처음 다른 토큰 앞까지만 맞는다 | 바뀌지 않는 부분을 앞에, 바뀌는 부분을 뒤에 둔다(8절) |
8. API 의 프롬프트 캐시: 앞부분이 같아야 맞는다
같은 시스템 지시나 같은 긴 문서를 여러 번 보내는 일이 많습니다. 프롬프트 캐시를 쓰면 API 가 앞서 처리한 앞부분(접두사)을 보관해 두고, 다음 요청이 같은 앞부분으로 시작하면 그 부분을 다시 처리하지 않고 이어서 합니다. 처리할 양이 줄어 값이 싸지고 첫 토큰이 빨리 나옵니다. 보관에는 시간 제한이 있어 오래 쓰지 않으면 지워집니다. 조건과 값은 회사마다 다르니 쓰는 API 의 문서를 봅니다.
왜 앞부분이어야 하나. 첫 층 위로는 자리 i 의 K, V 가 1 번부터 i 번까지의 토큰 모두에 따라 정해집니다. 층을 지날 때마다 앞 토큰들의 내용이 섞이기 때문입니다. 그래서 j 번째 토큰이 하나라도 다르면 j 번부터 뒤의 K, V 는 모두 달라지고, 같은 것은 j 앞까지뿐입니다.
- 요청 A:
[지시][문서][질문 1], 요청 B:[지시][문서][질문 2]→ 질문 앞까지 맞습니다. - 요청 C:
[오늘 날짜][지시][문서][질문 1]→ 첫 토큰부터 다르면, 날짜가 바뀌는 날마다 앞부분 전체가 맞지 않습니다.
그래서 바뀌지 않는 것(지시, 도구 설명, 긴 문서)을 앞에, 바뀌는 것(날짜, 사용자 이름, 질문)을 뒤에 둡니다. 상용 API 가 안에서 무엇을 정확히 보관하는지는 문서에 자세히 나오지 않습니다. 이 쪽은 KV 캐시와 같은 원리로 설명합니다.
9. 긴 문맥의 약점: 가운데를 놓치기 쉽다
윈도우에 들어간다고 모델이 모든 자리를 똑같이 잘 쓰는 것은 아닙니다. 「Lost in the Middle」 논문(출처)은 여러 문서 가운데 답이 든 문서를 찾아 답하는 시험과 키-값 찾기 시험에서, 필요한 정보가 입력의 처음이나 끝에 있을 때 성적이 가장 좋고 가운데에 있을 때 크게 떨어지는 일이 많다고 보고했습니다. 긴 문맥을 위해 만든 모델에서도 그랬습니다. 이 논문의 시험에서 본 것이고 모델마다 정도는 다를 수 있지만, 많이 넣을수록 잘 쓴다고 기대하지 않는 편이 안전합니다. 중요한 지시를 처음이나 끝에 두고, 넣는 양을 필요한 만큼으로 줄이는 까닭입니다.
10. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 문맥에 다 넣기 | 만들 것이 없다. 모델이 자료 전체를 본다 | 토큰만큼 값과 시간이 든다. 윈도우보다 길면 못 한다. 가운데를 놓칠 수 있다 | 자료가 윈도우에 넉넉히 들어갈 때. 같은 자료로 여러 번 물으면 프롬프트 캐시와 같이 |
| 자르기 | 가장 쉽다. 값이 일정하다 | 뺀 내용은 모델이 모른다 | 최근 대화만 중요한 채팅 |
| 요약해서 넣기 | 긴 흐름의 줄거리가 남는다 | 요약에 호출이 더 든다. 세부가 사라지고, 요약이 틀리면 틀린 채로 남는다 | 긴 대화, 회의 기록처럼 흐름이 중요한 글 |
| 검색해서 넣기 (RAG) | 윈도우보다 훨씬 큰 자료도 된다. 자료를 바꾸기 쉽다. 어느 조각에서 왔는지 보여 줄 수 있다 | 검색이 놓친 조각은 답에도 없다. 조각내기(청킹)와 색인을 만들어야 한다 | 문서 모음에 묻기, 자주 바뀌는 자료 |
| 미세 조정 (LoRA 등) | 말투, 형식, 일하는 방식을 모델에 익힌다. 매번 긴 지시를 넣지 않아도 된다 | 학습에 품과 값이 든다. 자료가 바뀌면 다시 학습한다. 답이 어디서 왔는지 보여 주기 어렵다 | 형식과 말투를 맞출 때. 자주 바뀌는 사실을 넣는 데는 맞지 않는다 |
어디에 쓰나
- 긴 대화 앱. 대화가 윈도우를 넘지 않게 오래된 부분을 자르거나 요약해 넣습니다.
- 문서에 묻기. 문서를 조각내고(청킹) 필요한 조각만 찾아 넣습니다(RAG).
- 같은 지시를 여러 번 보내는 API 호출. 바뀌지 않는 부분을 앞에 모아 프롬프트 캐시가 맞게 합니다.
- 모델을 직접 띄울 때. KV 캐시의 메모리를 셈해, 받을 수 있는 최대 길이와 동시 요청 수를 정합니다.
자주 묻는 것
윈도우가 크면 자료를 다 넣는 것이 가장 좋지 않나요?
늘 그렇지는 않습니다. 넣은 토큰만큼 값과 시간이 들고, 긴 입력의 가운데에 있는 정보를 잘 쓰지 못하는 일이 많다는 연구가 있습니다. 자료가 윈도우에 넉넉히 들어가고 몇 번만 묻는다면 다 넣는 것이 가장 쉽습니다. 자료가 윈도우보다 훨씬 크거나 자주 바뀌면 검색해서 필요한 부분만 넣습니다.
KV 캐시와 프롬프트 캐시는 같은 것인가요?
원리는 같고 쓰는 자리가 다릅니다. KV 캐시는 답 하나를 만드는 동안 모델 안에서 앞 토큰의 K, V 를 다시 쓰는 것입니다. 프롬프트 캐시는 API 가 요청과 요청 사이에서 같은 앞부분의 처리 결과를 다시 쓰는 기능입니다. 상용 API 가 안에서 정확히 무엇을 보관하는지는 문서에 자세히 나오지 않습니다.
캐시를 쓰면 정말 (n + 1) ÷ 2 배 빨라지나요?
아닙니다. 이 쪽은 층에 통과시키는 토큰 자리 수만 세는 단순한 모형입니다. 캐시가 있어도 새 토큰은 앞 토큰 모두의 K 와 점수를 내고 V 를 섞어야 하고, 캐시를 메모리에서 읽는 시간도 듭니다. 실제로 얼마나 빨라지는지는 모델과 기계에서 재어 봐야 합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 한 번에 볼 수 있는 토큰 수 | 컨텍스트 윈도우(context window), 컨텍스트 윈도우, 문맥 길이(context length) |
| 낱말이나 낱말 조각 | 토큰(token) |
| 앞 토큰의 표지와 내용 | 키(key, K), 밸류(value, V). 새 토큰 쪽은 쿼리(query, Q) |
| 저장해 둔 K, V | KV 캐시(key-value cache) |
| 앞 토큰만 보게 막기 | 인과 마스크(causal mask) |
| 한 토큰씩 이어 만들기 | 자기회귀 생성(autoregressive generation) |
| 입력을 한 번에 처리하기 / 한 토큰씩 만들기 | 프리필(prefill) / 디코드(decode) |
| 같은 앞부분 다시 쓰기 | 프롬프트 캐싱(prompt caching), 접두사(prefix) |
| 검색해서 넣기 | 검색 증강 생성(retrieval-augmented generation, RAG) |
| 자료를 조각내기 | 청킹(chunking) |
| 다시 학습해 맞추기 | 미세 조정(fine-tuning) |
| 가운데를 놓치기 | lost in the middle |
출처
- Ashish Vaswani 외, Attention Is All You Need, arXiv:1706.03762. 어텐션의 Q, K, V 와, 디코더가 뒤 자리를 보지 못하게 막는 것.
- Nelson F. Liu 외, Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172. 필요한 정보가 긴 입력의 가운데에 있을 때 성적이 떨어진다는 관찰.
- Hugging Face Transformers 문서, KV cache. 앞 토큰의 계산을 저장해 다시 계산하지 않는 것.
- Anthropic 문서, Prompt caching. 같은 앞부분으로 시작하는 요청에서 저장한 내용을 다시 써 값과 기다림을 줄이는 것, 보관 시간.