컨텍스트 윈도우와 KV 캐시

언어 모델에는 한 번에 볼 수 있는 글의 길이가 정해져 있습니다. 그리고 답을 한 토큰씩 만들 때마다 앞의 글을 다시 계산하면 일이 계단처럼 쌓입니다. 칸을 직접 세며 KV 캐시가 무엇을 아끼는지 봅니다.

한 줄 답. 컨텍스트 윈도우(context window)는 모델이 한 번에 볼 수 있는 토큰 수입니다. 넣는 글(입력)과 만드는 글(출력)이 이 윈도우를 나눠 씁니다. 넘치면 자르거나, 요약하거나, 필요한 부분만 검색해서 넣습니다. KV 캐시는 한 토큰씩 만들 때 앞 토큰들의 계산 결과(K, V)를 저장해 두는 것입니다. 캐시가 없으면 토큰 n 개를 만드는 데 n(n + 1) ÷ 2 칸을, 있으면 n 칸을 계산합니다.

줄 하나가 걸음 하나입니다. 걸음 t 에서 글에는 토큰이 t 개 있고, 모델은 그다음 토큰을 만듭니다. 초록 칸은 그 걸음에 층들을 통과시켜 계산한 토큰, 회색 칸은 캐시에서 꺼내 읽기만 한 토큰입니다. 진짜 모델이 아니라 「계산한 토큰 자리 수」만 세는 작게 줄인 본보기입니다(4절).

해 볼 것. ① 처음(n = 10, 캐시 없음)은 초록 칸이 55 개입니다. 「캐시 있음」을 누르면 10 개로 줄고, 회색 칸 45 개가 그 자리를 채웁니다. 5.5 배 차이입니다. ② 막대를 100 으로 옮기면 5,050 칸 대 100 칸, 50.5 배가 됩니다. ③ n = 1 이면 둘 다 1 칸입니다. 다시 계산할 앞 토큰이 없어서 캐시가 아낄 것이 없습니다.

1. 컨텍스트 윈도우란

모델은 글을 낱자가 아니라 토큰(낱말이나 낱말 조각)으로 읽습니다. 컨텍스트 윈도우는 모델이 한 번 부를 때 다룰 수 있는 토큰 수의 상한입니다. 이 안에 들어가는 것은 다음 모두입니다.

그래서 긴 문서를 넣을수록 답할 자리가 줄어듭니다. 윈도우 크기는 모델을 만들 때 정해지고, 모델마다 다릅니다.

윈도우에 끝이 있는 까닭은 길이에 따라 일이 커지기 때문입니다. 어텐션에서 토큰마다 앞의 모든 토큰과 점수를 내므로, 글이 두 배 길어지면 점수 수는 네 배쯤 됩니다. 아래에서 볼 KV 캐시의 메모리도 토큰 수만큼 늘어납니다.

2. 넘치면: 자르기, 요약, 검색해서 넣기

윈도우보다 긴 글은 모델이 받지 못합니다. API 는 요청을 거절하고, 출력은 윈도우나 정해 둔 상한에 닿으면 그 자리에서 멈춥니다. 긴 글을 다루는 길은 셋입니다.

무엇을 고를지는 10절의 표에 모았습니다.

3. KV 캐시: 앞 토큰을 다시 계산하지 않기

모델은 답을 한 번에 쓰지 않습니다. 다음 토큰 하나를 고르고(샘플링), 그것을 글 끝에 붙여 다시 다음 토큰을 고릅니다. 걸음마다 새 토큰은 어텐션으로 앞 토큰들을 봅니다. 이때 앞 토큰마다 필요한 것이 둘입니다. K(키, 「나는 이런 내용이다」라는 표지)와 V(밸류, 실제로 가져갈 내용)입니다.

캐시가 없으면 걸음마다 글 전체를 처음부터 층들에 통과시켜 K, V 를 다시 만듭니다. 그런데 글을 만드는 트랜스포머는 토큰마다 앞 토큰만 보게 막혀 있습니다(인과 마스크). 그래서 뒤에 무엇이 붙어도 앞 토큰의 K, V 는 바뀌지 않습니다. 바뀌지 않을 값을 걸음마다 다시 만들 까닭이 없으니, 층마다 저장해 두고 새 토큰의 K, V 만 덧붙입니다. 이 저장소가 KV 캐시입니다.

실제로는 질문(입력)을 먼저 한 번에 통째로 계산해 캐시를 채우고(프리필), 그다음부터 답을 한 토큰씩 만듭니다(디코드). 위 실험은 디코드만 떼어 토큰 1 개에서 n 개까지 한 토큰씩 늘어나는 경우를 봅니다.

4. 식이 만들어지는 과정: n(n + 1) ÷ 2 와 n

위 실험의 계단 그림으로 캐시 없는 생성의 계산량을 셉니다. 여기서 세는 것은 「층에 통과시킨 토큰 자리 수」라는 단순한 모형입니다. 토큰 하나를 층 전체에 한 번 통과시키는 일을 한 칸으로 셉니다. 그림과 숫자는 위 실험의 토큰 수 n 을 따릅니다.

n = 100 이면 이렇게 됩니다.

  1. 계단 세기: 1 + 2 + 3 + … + 100. 걸음 t 에서 토큰 t 개를 모두 다시 계산하므로 줄 t 에 칸이 t 개입니다. 칸을 하나씩 더하면 됩니다. 하지만 100 개를 더하기 전에 더 쉬운 길이 있습니다.
  2. 뒤집어 붙이기: 2 × (1 + 2 + … + 100) = 100 × 101. 같은 계단을 뒤집어 옆에 붙이면 줄 t 에 t + (101 − t) = 101 칸이 됩니다. 어느 줄이든 101 칸이고 줄이 100 개라, 계단 두 개는 직사각형 100 × 101 = 10,100 칸입니다. 까닭: 짧은 줄과 긴 줄을 짝지으면 길이가 고르게 되어 곱하기 한 번으로 셀 수 있습니다.
  3. 반으로 나누기: 1 + 2 + … + 100 = 10,100 ÷ 2 = 5,050. 계단 하나는 직사각형의 반입니다. 어느 n 이든 같은 방법이라 1 + 2 + … + n = n(n + 1) ÷ 2 입니다. n 이 두 배가 되면 칸 수는 네 배쯤 됩니다.
  4. 캐시가 있으면: 1 + 1 + … + 1 = 100. 앞 토큰의 K, V 를 꺼내 쓰고 새 토큰 한 칸만 계산합니다. 5,050 ÷ 100 = 50.5 배 적습니다. 일반식으로 n(n + 1) ÷ 2 ÷ n = (n + 1) ÷ 2 라서 글이 길수록 차이가 벌어집니다.

이 모형이 빼놓은 것. 캐시가 없애는 것은 앞 토큰을 층에 다시 통과시키는 일입니다. 새 토큰이 앞 토큰 t 개의 K 와 점수를 내고 V 를 섞는 어텐션의 일은 그대로 남아, 걸음 t 마다 t 에 비례해 늘어납니다. 캐시를 메모리에서 읽는 시간도 듭니다. 그래서 실제 시간 차이는 50.5 배와 다릅니다.

해 볼 것. ① 처음(n = 10)에 「다음」을 누르면 보라 계단이 붙어 줄마다 11 칸, 직사각형 110 칸이 됩니다. ② 한 번 더 누르면 반쪽 55 칸이 남습니다. ③ 마지막 단계에서 초록 칸이 10 개만 남고 「5.5 배 적습니다」가 나옵니다. ④ 위 실험의 막대를 100 으로 옮기고 단계를 다시 넘기면 10,100, 5,050, 100, 50.5 가 나옵니다.

5. 손으로 따라가기: 토큰 4 개

토큰 1 개에서 시작해 4 개가 될 때까지 걸음마다 계산하는 자리를 적습니다.

걸음그때 글의 토큰캐시 없음: 계산하는 자리캐시 있음: 계산하는 자리걸음 뒤 캐시에 든 토큰
111 (1 개)1 (1 개)1
221, 2 (2 개)2 (1 개)2
331, 2, 3 (3 개)3 (1 개)3
441, 2, 3, 4 (4 개)4 (1 개)4
합10 = 4 × 5 ÷ 24

캐시의 크기도 셉니다. 층이 2 개이고 K 와 V 가 숫자 8 개짜리인 지어낸 작은 모델이라면, 4 걸음 뒤 캐시에는 층마다 K 4 × 8 개와 V 4 × 8 개가 있습니다. 모두 2 × 2 × 4 × 8 = 128 개의 숫자이고, 숫자 하나가 2 바이트(16 비트)면 256 바이트입니다.

6. 캐시가 차지하는 메모리

손 예제를 일반식으로 적으면 이렇습니다.

캐시 크기 = 2 × 층 수 × 토큰 수 × 차원 × 숫자 하나의 바이트 수
           (동시에 만드는 글이 여럿이면 그 수만큼 또 곱한다)

2 는 K 와 V 둘이라서입니다. 차원은 토큰 하나의 K(또는 V) 길이입니다. 층 수와 차원은 모델이 정하니, 한 모델 안에서는 토큰 수에 정비례합니다. 예를 들어 층 32 개, 차원 4,096, 숫자 하나 2 바이트인 모델(지어낸 크기)이면 토큰 하나에 2 × 32 × 4,096 × 2 = 524,288 바이트(약 0.5 MB)이고, 토큰 1,000 개면 524,288,000 바이트(약 0.5 GB)입니다. 이 메모리는 모델의 가중치와 같은 기계에 함께 올라가야 하므로, 글이 길수록 그리고 동시에 받는 요청이 많을수록 기계 하나가 감당할 수 있는 양이 줄어듭니다.

7. 꼭 알아야 할 성질

성질쉬운 말
입력과 출력이 한 윈도우를 나눠 쓴다긴 문서를 넣으면 답할 자리가 준다
앞 토큰의 K, V 는 뒤에 무엇이 붙어도 바뀌지 않는다토큰마다 앞만 보게 막혀 있어서다(인과 마스크). 그래서 저장해 다시 쓸 수 있다
캐시가 없애는 것은 앞 토큰을 다시 계산하는 일새 토큰이 앞 토큰 모두를 보는 어텐션의 일은 남는다. 글이 길수록 걸음 하나도 조금씩 무거워진다
캐시 메모리는 토큰 수에 정비례2 × 층 × 토큰 × 차원 × 바이트. 동시 요청 수만큼 또 곱한다
프롬프트 캐시는 처음 다른 토큰 앞까지만 맞는다바뀌지 않는 부분을 앞에, 바뀌는 부분을 뒤에 둔다(8절)

8. API 의 프롬프트 캐시: 앞부분이 같아야 맞는다

같은 시스템 지시나 같은 긴 문서를 여러 번 보내는 일이 많습니다. 프롬프트 캐시를 쓰면 API 가 앞서 처리한 앞부분(접두사)을 보관해 두고, 다음 요청이 같은 앞부분으로 시작하면 그 부분을 다시 처리하지 않고 이어서 합니다. 처리할 양이 줄어 값이 싸지고 첫 토큰이 빨리 나옵니다. 보관에는 시간 제한이 있어 오래 쓰지 않으면 지워집니다. 조건과 값은 회사마다 다르니 쓰는 API 의 문서를 봅니다.

왜 앞부분이어야 하나. 첫 층 위로는 자리 i 의 K, V 가 1 번부터 i 번까지의 토큰 모두에 따라 정해집니다. 층을 지날 때마다 앞 토큰들의 내용이 섞이기 때문입니다. 그래서 j 번째 토큰이 하나라도 다르면 j 번부터 뒤의 K, V 는 모두 달라지고, 같은 것은 j 앞까지뿐입니다.

그래서 바뀌지 않는 것(지시, 도구 설명, 긴 문서)을 앞에, 바뀌는 것(날짜, 사용자 이름, 질문)을 뒤에 둡니다. 상용 API 가 안에서 무엇을 정확히 보관하는지는 문서에 자세히 나오지 않습니다. 이 쪽은 KV 캐시와 같은 원리로 설명합니다.

9. 긴 문맥의 약점: 가운데를 놓치기 쉽다

윈도우에 들어간다고 모델이 모든 자리를 똑같이 잘 쓰는 것은 아닙니다. 「Lost in the Middle」 논문(출처)은 여러 문서 가운데 답이 든 문서를 찾아 답하는 시험과 키-값 찾기 시험에서, 필요한 정보가 입력의 처음이나 끝에 있을 때 성적이 가장 좋고 가운데에 있을 때 크게 떨어지는 일이 많다고 보고했습니다. 긴 문맥을 위해 만든 모델에서도 그랬습니다. 이 논문의 시험에서 본 것이고 모델마다 정도는 다를 수 있지만, 많이 넣을수록 잘 쓴다고 기대하지 않는 편이 안전합니다. 중요한 지시를 처음이나 끝에 두고, 넣는 양을 필요한 만큼으로 줄이는 까닭입니다.

10. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
문맥에 다 넣기만들 것이 없다. 모델이 자료 전체를 본다토큰만큼 값과 시간이 든다. 윈도우보다 길면 못 한다. 가운데를 놓칠 수 있다자료가 윈도우에 넉넉히 들어갈 때. 같은 자료로 여러 번 물으면 프롬프트 캐시와 같이
자르기가장 쉽다. 값이 일정하다뺀 내용은 모델이 모른다최근 대화만 중요한 채팅
요약해서 넣기긴 흐름의 줄거리가 남는다요약에 호출이 더 든다. 세부가 사라지고, 요약이 틀리면 틀린 채로 남는다긴 대화, 회의 기록처럼 흐름이 중요한 글
검색해서 넣기 (RAG)윈도우보다 훨씬 큰 자료도 된다. 자료를 바꾸기 쉽다. 어느 조각에서 왔는지 보여 줄 수 있다검색이 놓친 조각은 답에도 없다. 조각내기(청킹)와 색인을 만들어야 한다문서 모음에 묻기, 자주 바뀌는 자료
미세 조정 (LoRA 등)말투, 형식, 일하는 방식을 모델에 익힌다. 매번 긴 지시를 넣지 않아도 된다학습에 품과 값이 든다. 자료가 바뀌면 다시 학습한다. 답이 어디서 왔는지 보여 주기 어렵다형식과 말투를 맞출 때. 자주 바뀌는 사실을 넣는 데는 맞지 않는다

어디에 쓰나

자주 묻는 것

윈도우가 크면 자료를 다 넣는 것이 가장 좋지 않나요?

늘 그렇지는 않습니다. 넣은 토큰만큼 값과 시간이 들고, 긴 입력의 가운데에 있는 정보를 잘 쓰지 못하는 일이 많다는 연구가 있습니다. 자료가 윈도우에 넉넉히 들어가고 몇 번만 묻는다면 다 넣는 것이 가장 쉽습니다. 자료가 윈도우보다 훨씬 크거나 자주 바뀌면 검색해서 필요한 부분만 넣습니다.

KV 캐시와 프롬프트 캐시는 같은 것인가요?

원리는 같고 쓰는 자리가 다릅니다. KV 캐시는 답 하나를 만드는 동안 모델 안에서 앞 토큰의 K, V 를 다시 쓰는 것입니다. 프롬프트 캐시는 API 가 요청과 요청 사이에서 같은 앞부분의 처리 결과를 다시 쓰는 기능입니다. 상용 API 가 안에서 정확히 무엇을 보관하는지는 문서에 자세히 나오지 않습니다.

캐시를 쓰면 정말 (n + 1) ÷ 2 배 빨라지나요?

아닙니다. 이 쪽은 층에 통과시키는 토큰 자리 수만 세는 단순한 모형입니다. 캐시가 있어도 새 토큰은 앞 토큰 모두의 K 와 점수를 내고 V 를 섞어야 하고, 캐시를 메모리에서 읽는 시간도 듭니다. 실제로 얼마나 빨라지는지는 모델과 기계에서 재어 봐야 합니다.

낱말

여기서 쓴 말책에서 부르는 말
한 번에 볼 수 있는 토큰 수컨텍스트 윈도우(context window), 컨텍스트 윈도우, 문맥 길이(context length)
낱말이나 낱말 조각토큰(token)
앞 토큰의 표지와 내용키(key, K), 밸류(value, V). 새 토큰 쪽은 쿼리(query, Q)
저장해 둔 K, VKV 캐시(key-value cache)
앞 토큰만 보게 막기인과 마스크(causal mask)
한 토큰씩 이어 만들기자기회귀 생성(autoregressive generation)
입력을 한 번에 처리하기 / 한 토큰씩 만들기프리필(prefill) / 디코드(decode)
같은 앞부분 다시 쓰기프롬프트 캐싱(prompt caching), 접두사(prefix)
검색해서 넣기검색 증강 생성(retrieval-augmented generation, RAG)
자료를 조각내기청킹(chunking)
다시 학습해 맞추기미세 조정(fine-tuning)
가운데를 놓치기lost in the middle

출처

← 소프트맥스와 샘플링구조화된 출력 →