소프트맥스, 온도, top-k, top-p

LLM 은 글을 한 번에 쓰지 않습니다. 다음에 올 낱말 하나를 고르고, 그것을 붙인 뒤 또 하나를 고릅니다. 이 쪽은 그 「하나를 고르는」 순간을 봅니다. 로짓(logit, 후보마다의 점수)을 끌어 보고, 온도를 바꿔 보고, 직접 뽑아 보세요.

한 줄 답. 모델은 후보 토큰마다 점수인 로짓을 냅니다. 소프트맥스가 그 로짓을 합이 1 인 확률로 바꾸고, 그 확률대로 하나를 뽑습니다. 온도는 확률을 뾰족하게(낮으면) 또는 고르게(높으면) 만들고, top-k 와 top-p 는 가능성이 낮은 후보를 잘라 냅니다.

오늘 점심은 ?

작게 줄인 본보기: 로짓은 지어낸 것이고 후보가 10개뿐입니다. 진짜 모델은 후보가 수만 개입니다.

후보로짓로짓 막대e^로짓확률
합

초록 막대를 끌거나 숫자 칸에 써서 로짓을 바꿉니다(−6 ~ 6, 가운데 세로선이 0). 파란 막대 e^로짓은 가장 큰 것에 맞춰 그렸고, 검은 막대 확률은 0 ~ 1 그대로입니다. 여기서 바꾼 로짓은 아래 실험에도 그대로 쓰입니다.

1. 모델이 내는 것: 후보마다 로짓

LLM 이 글을 읽고 바로 내놓는 것은 낱말이 아니라 점수표입니다. 아는 토큰 모두에 점수를 하나씩 매깁니다. 점수가 클수록 다음에 올 만하다는 뜻입니다. 이 점수를 로짓이라고 부릅니다.

토큰은 모델이 글을 자르는 단위입니다. 낱말 하나일 때도 있고 낱말 조각일 때도 있습니다. 이 쪽에서는 쉽게 낱말 하나를 토큰 하나로 둡니다.

로짓은 아무 수나 될 수 있습니다. 음수도 있고, 모두 더한 값도 정해져 있지 않습니다. 그래서 그대로는 확률로 쓸 수 없습니다. 확률은 0 이상이어야 하고, 모두 더하면 1 이어야 합니다. 로짓을 확률로 바꾸는 일을 소프트맥스가 합니다.

위 실험은 작게 줄인 본보기입니다. 진짜 모델은 후보가 수만 개이고, 로짓은 사람이 정하지 않습니다. 앞 글 전체를 읽은 신경망이 계산합니다.

2. 소프트맥스: 로짓을 확률로

두 단계입니다. ① 로짓마다 e^로짓 를 구합니다(e 는 약 2.718 인 수). ② 그것을 모두 더한 합으로 나눕니다.

확률ᵢ = e^로짓ᵢ ÷ (e^로짓₁ + e^로짓₂ + … + e^로짓ₙ)

나누는 수가 모두의 합이라서, 나온 확률을 모두 더하면 언제나 1 입니다. 이 식에 온도까지 넣어 한 조각씩 만들어 가는 과정은 5. 식이 만들어지는 과정에서 그림으로 봅니다.

왜 지수(e^로짓)를 쓰나

마지막 성질은 코드에서 쓸모가 있습니다. 컴퓨터는 e^1000 을 셀 수 없습니다(무한대가 됩니다). 그래서 실제 코드는 가장 큰 로짓을 모두에서 빼고 계산합니다. 빼도 결과는 같고, 가장 큰 지수가 e^0 = 1 이 되어 넘치지 않습니다.

function softmax(scores) {
  const top = Math.max(...scores);
  const powers = scores.map((s) => Math.exp(s - top));   // 가장 큰 것을 빼서 넘치지 않게
  const total = powers.reduce((a, b) => a + b, 0);
  return powers.map((p) => p / total);
}

해 볼 것. ① 처음 로짓에서 김밥(3)의 e^로짓은 20.1, 합은 50.4, 확률은 0.399 입니다. ② 「모든 로짓 +1」을 누르면 e^로짓이 모두 2.72배가 되고(김밥 54.6) 합도 2.72배(137)가 되지만, 확률 줄은 하나도 바뀌지 않습니다. ③ 우주선의 로짓을 −3 에서 3 으로 끌어 올리면 김밥과 똑같이 0.285 가 됩니다. 로짓이 같으면 확률도 같습니다.

3. 손으로 따라 풀기: 로짓 2, 1, 0

후보가 셋이고 로짓이 김밥 2, 라면 1, 피자 0 이라고 합시다.

  1. 지수. e^2 = 7.389, e^1 = 2.718, e^0 = 1.
  2. 합. 7.389 + 2.718 + 1 = 11.107.
  3. 나누기. 7.389 ÷ 11.107 = 0.665, 2.718 ÷ 11.107 = 0.245, 1 ÷ 11.107 = 0.090. 더하면 1 입니다.
  4. 확인. 김밥과 라면의 확률 비는 0.665 ÷ 0.245 = 2.718. 로짓 차이 1 이 e 배가 되었습니다. 로짓을 모두 1 씩 올린 3, 2, 1 로 해도 0.665, 0.245, 0.090 이 그대로 나옵니다.
후보로짓e^로짓확률
김밥27.3890.665
라면12.7180.245
피자010.090
합11.1071

이 세 숫자는 4절(온도), 5절(식이 만들어지는 과정), 6절(자르기), 7절(샘플링)에서 계속 씁니다.

4. 온도: 뾰족하게, 고르게

온도 T 는 로짓을 나누는 수입니다. 나눈 다음 소프트맥스를 합니다.

확률 = softmax(로짓 ÷ T)

T 가 1 보다 작으면 로짓의 차이가 커져서 1등이 더 많이 가져갑니다(뾰족해집니다). T 가 1 보다 크면 차이가 줄어 고르게 퍼집니다. 순서는 바뀌지 않습니다. 어느 온도에서도 로짓이 큰 것이 확률도 큽니다.

온도 T로짓 ÷ T김밥라면피자엔트로피
0.120, 10, 01.0000.0000.0000.0007 비트
0.54, 2, 00.8670.1170.0160.64 비트
12, 1, 00.6650.2450.0901.20 비트
21, 0.5, 00.5060.3070.1861.47 비트

온도 0.1 의 김밥은 정확히는 0.99995 입니다. 온도 2 의 줄은 반올림 때문에 더하면 0.999 로 보입니다.

온도가 0 에 가까우면 1등만 남습니다. 늘 가장 큰 것을 고르는 방식을 그리디(greedy)라고 부릅니다. 0 으로는 나눌 수 없으므로, 많은 구현은 온도 0 을 「가장 큰 것 고르기」로 따로 처리합니다. 그리디면 같은 입력에 같은 답이 나옵니다. 다만 실제 서비스에서는 온도를 0 으로 둬도 답이 완전히 같지 않을 수 있습니다. 여러 요청을 묶어 계산하거나 더하는 순서가 바뀌면 소수 끝자리가 달라지고, 1등과 2등이 아주 가까우면 순서가 뒤집힐 수 있기 때문입니다.

온도가 아주 크면 로짓 ÷ T 가 모두 0 에 가까워져, 후보 n 개가 모두 1/n 에 가까워집니다. 로짓을 무시하고 아무거나 고르는 것과 같습니다.

엔트로피(entropy)는 확률이 얼마나 고르게 퍼졌는지를 한 숫자로 나타냅니다. −Σ 확률 × log₂(확률) 로 셉니다. 한 후보가 1 이면 0 비트, 후보 n 개가 똑같으면 log₂ n 비트입니다(셋이면 1.585, 열이면 3.32). 실험의 설명 줄에 늘 나옵니다.

적용 순서: ① 온도로 확률 만들기 → ② top-k 로 자르기 → ③ top-p 로 자르기 → 남은 것끼리 다시 나누기. 구현마다 이 순서가 다를 수 있어, 같은 값을 넣어도 결과가 조금 다를 수 있습니다.

왼쪽 칸은 ② 까지 거친 확률을 큰 것부터 이어 붙인 막대입니다. 막대의 오른쪽 끝을 잇는 검은 선이 「여기까지 더한 확률(누적)」입니다. 주황 점선이 p, 보라 점선이 k 입니다(k 가 10 이면 자르지 않음). 흐린 줄은 잘려 나간 후보입니다.

해 볼 것. ① 처음 값(온도 1)에서 김밥은 0.399, 엔트로피는 2.36 비트입니다. ② 「온도 0.5」를 누르면 김밥이 0.632 로 커지고 엔트로피는 1.50 비트로 줄어듭니다. ③ 온도를 0.1 까지 내리면 김밥 0.993, 0.06 비트. 설명 줄에 「거의 늘 김밥 하나만」이 나옵니다. ④ 온도를 2 로 올리면 김밥 0.246, 2.95 비트. 열 개가 똑같을 때의 3.32 비트에 가까워집니다. 어느 온도에서도 김밥이 1등입니다.

5. 식이 만들어지는 과정: 온도를 넣은 소프트맥스

2절의 소프트맥스와 4절의 온도를 한 식으로 적으면 pᵢ = exp(zᵢ ÷ T) ÷ Σⱼ exp(zⱼ ÷ T) 입니다. zᵢ 는 i 번째 후보의 로짓, pᵢ 는 그 후보의 확률, T 는 온도입니다. exp(z) 는 e^z 를 달리 적은 것이고, Σⱼ 는 「모든 후보 j 에 대해 더한다」는 뜻입니다. 이 식을 한 조각씩 붙여 가며 막대가 어떻게 바뀌는지 봅니다. 로짓은 맨 위 실험의 로짓을 그대로 씁니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 그만큼 옮겨 가거나 줄고, 아래에 까닭이 나옵니다. 막대 색은 맨 위 실험과 같습니다: 초록이 로짓, 파랑이 exp(z), 검정이 확률입니다. 맨 아래 「합」 줄은 막대들을 큰 것부터 이어 붙인 것입니다. 점선 틀은 바로 앞 단계의 막대입니다. 온도 막대는 ④·⑤ 단계에서 움직이고, ⑤ 의 p 는 0.9 로 정해 두었습니다.

  1. 로짓: zᵢ. 김밥 3 부터 우주선 −3 까지입니다. 음수가 셋이고, 모두 더하면 5.5 입니다. 까닭: 확률은 0 이상이고 합이 1 이어야 하는데, 로짓은 둘 다 아닙니다. 다음 두 조각이 이 둘을 하나씩 고칩니다.
  2. 모두 양수로: exp(zᵢ). 김밥 e^3 = 20.1, 라면 e^2.5 = 12.2, 비빔밥 e^2 = 7.39, …, 우주선 e^−3 = 0.0498. 막대가 모두 왼쪽 끝(0)에서 오른쪽으로 뻗습니다. 까닭: exp 는 어떤 수를 넣어도 0 보다 큽니다. 그리고 로짓의 차이가 비율로 바뀝니다. 0.5 차이인 김밥과 라면은 e^0.5 = 1.65 배, 1 차이인 김밥과 비빔밥은 e = 2.718 배입니다. 큰 로짓이 여전히 큰 값이라 순서도 그대로입니다.
  3. 합이 1 이 되게: exp(zᵢ) ÷ Σⱼ exp(zⱼ). 열 개의 합은 50.4 입니다. 모두 50.4 로 나누면 김밥 0.399, 라면 0.242, …, 우주선 0.001 이 됩니다. 2절의 소프트맥스가 여기까지입니다. 까닭: 모두 같은 수로 나누니 비율(모양)은 그대로이고, 나눈 것들의 합은 50.4 ÷ 50.4 = 1 입니다. 합 줄을 보면 ② 에서 눈금 밖으로 넘치던 것이 ③ 에서 딱 0 ~ 1 을 채웁니다.
  4. 온도로 차이를 키우거나 줄이기: pᵢ = exp(zᵢ ÷ T) ÷ Σⱼ exp(zⱼ ÷ T). T = 0.5 면 zᵢ ÷ T 가 6, 5, 4, …, −6 으로 벌어져 김밥과 라면의 비가 1.65 배에서 e = 2.718 배가 되고, 김밥이 0.399 에서 0.632 로 커집니다. T = 2 면 1.5, 1.25, 1, …, −1.5 로 좁아져 비가 e^0.25 = 1.28 배, 김밥은 0.246 입니다. 까닭: ② 에서 본 대로 exp 는 차이를 비율로 바꿉니다. 그래서 차이를 T 로 나누면 비율이 e^(차이 ÷ T) 로 바뀌어, 확률의 모양을 뾰족하게도 평평하게도 할 수 있습니다. T 가 0 보다 크면 순서는 그대로이고, T = 1 이면 ③ 과 같습니다. 여기서 식이 완성됩니다.
  5. 더 나아가기, 자르고 다시 나누기: pᵢ' = pᵢ ÷ Σ(j∈V) pⱼ. V 는 남긴 후보들이고, 남지 못한 후보는 0 입니다. T = 0.5 의 확률을 큰 것부터 더하면 0.632, 0.865, 0.950 에서 처음 0.9 이상이 되어 셋이 남습니다(top-p 0.9). 셋을 그 합 0.950 으로 나누면 0.665, 0.245, 0.090 입니다. 까닭: 자르면 합이 1 보다 작아지니 다시 1 로 맞춥니다. 남은 것끼리 나누면 exp(zᵢ ÷ T) ÷ (남은 후보의 exp(zⱼ ÷ T) 합) 이 되어, 남은 후보끼리만 소프트맥스를 한 것과 같습니다. 그래서 숫자가 3절의 손 예제와 똑같습니다. T = 0.5 의 6, 5, 4 는 2, 1, 0 에 4 를 더한 것이고, 모두에 같은 수를 더해도 확률은 같기 때문입니다. top-k 는 V 를 「큰 것부터 k 개」로 바꾼 것입니다.

해 볼 것. ① 4단계에서 온도를 0.1 로 내리면 김밥이 0.993 이 되고, 2 로 올리면 0.246 이 됩니다. 1 에 두면 막대가 점선 틀과 겹칩니다(3단계와 같음). ② 5단계에서 온도를 1 로 두면 다섯이 남고 김밥이 0.429 가 됩니다. 6절의 「top-p 0.9」와 같은 숫자입니다. 2 로 올리면 일곱이 남습니다. ③ 맨 위 실험에서 「모든 로짓 +1」을 누르고 돌아와 보세요. 1단계의 막대와 2단계의 exp 값은 바뀌지만, 3단계부터는 하나도 바뀌지 않습니다.

6. top-k 와 top-p: 낮은 후보 잘라 내기

소프트맥스는 어떤 후보에도 0 을 주지 않습니다. 후보가 수만 개면 하나하나는 아주 작아도, 낮은 후보를 모두 더한 「꼬리」는 꽤 큰 몫이 됩니다. 그 꼬리에서 엉뚱한 낱말이 뽑히면 글이 갑자기 이상해집니다. 그래서 뽑기 전에 꼬리를 잘라 냅니다.

방법남기는 것특징
top-k확률이 큰 것부터 k 개늘 같은 개수를 남긴다. k = 1 이면 그리디와 같다
top-p큰 것부터 더해 가다 합이 처음으로 p 이상이 되는 데까지모델이 확신하면 적게, 망설이면 많이 남긴다. p = 1 이면 자르지 않는다

자른 뒤에는 남은 것끼리 다시 나눕니다. 남은 확률을 그 합으로 나눠 다시 합이 1 이 되게 합니다.

top-p 를 처음 낸 논문(Holtzman 등, 2019)이 짚은 점은 이렇습니다. 「다음 낱말」이 거의 정해진 자리(예: 「대한민」 다음)에서는 후보 하나가 대부분을 가져갑니다. 이때 k 개를 남기면 엉뚱한 후보가 끼어듭니다. 반대로 무엇이 와도 되는 자리에서는 그럴듯한 후보가 수십 개라서, k 개만 남기면 좋은 후보를 버립니다. top-p 는 합으로 자르니 두 경우에 저절로 맞춰집니다.

손 예제에 top-p 0.9

확률 0.665, 0.245, 0.090 을 큰 것부터 더합니다. 0.665 는 0.9 보다 작으니 계속 갑니다. 0.665 + 0.245 = 0.910 은 0.9 이상이므로 여기서 멈춥니다. 피자가 잘리고, 남은 둘을 0.910 으로 나누면 0.665 ÷ 0.910 = 0.731, 0.245 ÷ 0.910 = 0.269 입니다. 이 예에서는 top-k 2 를 해도 같은 답이 나옵니다.

경계에서

경우예결과
더한 값이 딱 p 가 될 때0.5, 0.3, 0.2 에서 p = 0.80.5 + 0.3 = 0.8 이 p 이상이라 둘을 남긴다
맨 위 하나가 이미 p 를 넘을 때0.95, 0.03, 0.02 에서 p = 0.9하나만 남는다. 그리디와 같다
확률이 같은 후보가 경계에 걸릴 때0.4, 0.4, 0.2 에서 k = 1이 쪽은 앞에 있는 후보를 남긴다. 구현마다 다를 수 있다

컴퓨터의 소수 덧셈은 끝자리가 조금 틀립니다(0.7 + 0.2 = 0.8999999999999999). 이 쪽의 코드는 p 와 아주 작은 차이(10억분의 1)만 나면 같다고 봅니다.

해 볼 것. 4절의 실험에서 ① 「top-k 3」을 누르면 셋만 남고 김밥이 0.399 에서 0.506 으로 커집니다. ② 「top-p 0.9」를 누르면 누적 선이 0.399, 0.640, 0.787, 0.876, 0.930 으로 오릅니다. 다섯째에서 처음 0.9 를 넘으므로 다섯이 남고, 김밥은 0.429 가 됩니다. ③ top-p 를 0.9 에 둔 채 온도를 0.5 로 내리면 3개, 2 로 올리면 7개가 남습니다. 온도를 올리면 top-p 가 남기는 후보가 늘어납니다. ④ top-p 를 0.3 으로 내리면 김밥 하나(0.399)가 이미 0.3 을 넘어 김밥만 남습니다.

7. 샘플링(sampling): 확률대로 하나 고르기

확률대로 뽑는 방법은 이렇습니다. 후보의 확률을 길이로 삼아 0 ~ 1 의 막대에 큰 것부터 이어 붙입니다. 그리고 0 과 1 사이의 수(난수) 하나를 뽑아, 그 수가 떨어진 칸의 후보를 고릅니다. 칸이 길수록 자주 걸립니다.

손 예제라면 김밥 칸은 0 ~ 0.665, 라면 칸은 0.665 ~ 0.910, 피자 칸은 0.910 ~ 1 입니다. 난수가 0.3 이면 김밥, 0.7 이면 라면, 0.95 면 피자입니다.

컴퓨터의 난수는 정해진 계산으로 만든 수열입니다. 시작하는 수를 시드(seed)라고 합니다. 시드가 같으면 같은 수열이 나오고, 그러면 같은 뽑기 결과가 나옵니다. 실험을 되풀이하거나 버그를 다시 일으킬 때 시드를 고정합니다.

파란 막대는 뽑힌 횟수, 주황 눈금은 확률대로라면 나올 횟수입니다. top-k 와 top-p 는 4절 실험의 값을 그대로 씁니다. 로짓, 온도, 자르기를 바꾸면 횟수가 0 으로 돌아가고 시드도 처음부터 다시 시작합니다.

해 볼 것. ① 처음 값(온도 1, 시드 42)에서 「100번 뽑기」를 한 번 누르면 김밥 39, 라면 27, 비빔밥 15, 국수 8, 떡볶이 6, 샐러드 3, 초밥 1, 굶기 1번이 나옵니다. 확률대로라면 김밥은 39.9번입니다. ② 「다시 처음」을 누르고 다시 100번을 뽑으면 똑같은 결과가 나옵니다. ③ 온도를 0.1 로 내리고 100번 뽑으면 김밥 98, 라면 2번. 2 로 올리면 우주선까지 9가지가 나오고 김밥은 24번입니다. ④ 「시드 고정」을 끄면 누를 때마다 결과가 달라집니다.

8. 한 낱말씩 이어 쓰기

LLM 은 뽑은 토큰을 글 뒤에 붙이고, 늘어난 글로 다시 로짓을 냅니다. 이것을 문장이 끝날 때까지 되풀이합니다. 한 번 고른 토큰은 되돌리지 않습니다. 그래서 앞에서 한 번 엉뚱한 것을 뽑으면 그 뒤 전체가 그쪽으로 끌려갑니다.

아래는 지어낸 작은 표로 문장을 다섯 줄씩 씁니다. 두 칸은 같은 시드를 쓰고 온도만 다릅니다.

작게 줄인 본보기: 이 표는 「지금 자리」 하나만 보고 다음 낱말을 정합니다. 진짜 모델은 앞 글 전체를 보고 다음 토큰을 정합니다.

      물결 밑줄은 드문 낱말입니다. 온도 1 에서 그 자리에 올 확률이 5% 보다 낮은 낱말입니다. 「다시 만들기」는 새 시드로 두 칸을 다시 씁니다.

      해 볼 것. ① 처음 화면(시드 1)에서 왼쪽(온도 0.2)은 다섯 줄 모두 「나는 오늘 김밥을 먹었다.」입니다. 오른쪽(온도 1.5)은 다섯 줄이 모두 다르고, 「우리는 오늘 라면을 날렸다.」, 「나는 어제 친구와 김밥을 날렸다.」처럼 드문 낱말이 2개 섞입니다. ② 오른쪽 온도를 0.2 로 내리면 두 칸이 똑같아집니다. 시드가 같기 때문입니다. ③ 「다시 만들기」를 여러 번 눌러 보세요. 왼쪽은 거의 그대로이고 오른쪽은 매번 바뀝니다.

      정리하면, 온도가 낮으면 늘 비슷한 문장이 나옵니다. 안전하지만 밋밋하고, 길게 쓰면 같은 말을 되풀이하기 쉽습니다. 온도가 높으면 다양해지지만, 꼬리의 엉뚱한 낱말이 끼어들어 말이 안 되는 문장도 나옵니다. top-k 와 top-p 는 다양함은 두고 그 꼬리만 잘라 내려는 방법입니다.

      9. 꼭 알아야 할 성질

      성질쉬운 말
      확률은 모두 0 보다 크고, 합은 1아무리 낮은 로짓도 0 이 되지 않는다. 그래서 자르기(top-k, top-p)가 따로 있다
      순서를 지킨다로짓이 크면 확률도 크다. 온도를 바꿔도 순서는 그대로다
      softmax(로짓 + c) = softmax(로짓)차이만 중요하다. 로짓 차이 1 은 확률 비 e 배(2.718배)가 된다. 넘침을 막으려고 가장 큰 로짓을 빼고 계산한다
      T → 0 이면 1등만, T → ∞ 이면 모두 1/n온도가 그리디와 「아무거나」 사이를 잇는다
      후보가 둘이면 시그모이드softmax(z, 0) 의 첫째 = 1 ÷ (1 + e^−z). z = 2 이면 0.881

      10. 언제 무엇을 쓰나

      정해진 값은 없습니다. 쓸 수 있는 범위와 기본값은 모델과 서비스마다 다릅니다. 아래는 방향만 적었습니다.

      하는 일온도까닭
      코드, 계산, 사실을 묻는 답, 정해진 형식(JSON 등)낮게가장 그럴듯한 하나가 필요하다. 엉뚱한 토큰 하나가 전체를 망친다
      요약, 번역, 문서를 보고 답하기낮게 ~ 중간원문에 붙어 있어야 한다
      글쓰기, 이야기, 이름이나 아이디어 내기높게여러 갈래가 필요하다. 같은 말 되풀이를 피한다
      같은 질문에 답을 여러 개 받아 고르기높게답이 서로 달라야 고를 것이 있다

      온도와 top-p 를 한꺼번에 바꾸면 어느 쪽 때문인지 알기 어렵습니다. 하나씩 바꿔 보세요.

      그 밖의 방법

      빔 서치를 따라가 보기

      그리디는 걸음마다 그 자리에서 가장 큰 토큰 하나만 고릅니다. 그런데 처음에는 둘째였던 토큰 뒤에 아주 확실한 토큰이 이어지면, 문장 전체로는 그쪽이 더 클 수 있습니다. 빔 서치는 후보를 빔 너비만큼 같이 들고 가며 그런 문장을 찾습니다. 문장의 확률은 토큰 확률의 곱입니다.

      P(t₁ t₂ t₃) = P(t₁) × P(t₂ | t₁) × P(t₃ | t₁ t₂)

      곱 대신 확률에 로그를 씌워 더해도 큰 순서는 같습니다.

      작게 줄인 본보기: 확률은 지어낸 것이고, 자리마다 후보가 3개, 문장은 토큰 3개입니다. 이 표는 바로 앞 토큰 하나만 보고 다음 토큰의 확률을 정합니다. 진짜 모델은 앞 글 전체를 봅니다.

      가지 위의 수는 그 가지의 확률, 노드 아래의 수는 지금까지의 확률(곱)입니다. 「다음」을 한 번 누르면 ① 살아 있는 후보마다 가지가 자라고(주황 화살표, 「×0.45」와 「= 0.18」이 곱셈), 또 한 번 누르면 ② 전체 확률이 큰 것만 너비만큼 남고 나머지는 잘립니다(흐리게, 줄을 그음). 마지막 걸음에서 아래에 세 방법의 결과가 나란히 나옵니다.

      해 볼 것. ① 너비 1 로 끝까지 가면 「나는 밥을 먹었다」(0.5 × 0.5 × 0.4 = 0.1)입니다. 걸음마다 1등 하나만 남기니 그리디와 같습니다. ② 너비 2 에서는 토큰 2 의 후보 6개가 0.25, 0.2, 0.18, … 순이라 「개가 공을」(0.18)이 셋째로 잘리고, 답은 「나는 빵을 먹었다」(0.12)입니다. ③ 너비 3 이면 「개가 공을」이 살아남아 「개가 공을 물었다」(0.4 × 0.45 × 0.8 = 0.144)가 답이 됩니다. 27개 문장을 모두 세어 본 가장 큰 것과 같습니다. 「개가」는 처음에 0.4 로 둘째였지만 뒤의 0.45 와 0.8 덕분에 이깁니다. ④ 마지막 걸음에서 너비 막대를 움직이면 표의 「지금 너비」 줄이 0.1, 0.12, 0.144 로 바뀝니다. 빔 서치는 모두 세어 보지 않으므로, 너비가 작으면 가장 큰 문장을 놓칠 수 있습니다.

      어디에 쓰나

      자주 묻는 것

      온도를 0 으로 하면 늘 같은 답이 나오나요?

      원리로는 그렇습니다. 온도가 0 에 가까우면 가장 큰 후보만 고르므로(그리디) 같은 입력에는 같은 답이 나옵니다. 다만 실제 서비스에서는 계산 순서의 아주 작은 차이로 1등과 2등이 뒤바뀔 수 있어, 완전히 같지 않을 수 있습니다.

      top-k 와 top-p 는 무엇이 다른가요?

      top-k 는 개수로 자르고, top-p 는 확률의 합으로 자릅니다. top-k 는 늘 같은 개수를 남깁니다. top-p 는 모델이 확신하면 후보를 적게, 망설이면 많이 남깁니다.

      왜 확률이 가장 큰 것만 고르지 않나요?

      늘 1등만 고르면 글이 밋밋해지고 같은 말을 되풀이하기 쉽습니다. 그래서 확률대로 뽑되, 엉뚱한 낱말이 나오는 낮은 꼬리만 잘라 냅니다.

      온도는 얼마로 두면 되나요?

      정해진 값은 없습니다. 코드나 사실을 묻는 답처럼 정확해야 하면 낮게, 글쓰기나 아이디어처럼 다양해야 하면 높게 둡니다. 쓸 수 있는 범위와 기본값은 서비스마다 다르니 그 문서를 보세요.

      소프트맥스에서 왜 지수를 쓰나요?

      음수 로짓도 양수로 바꾸고, 로짓이 큰 것을 더 도드라지게 하기 때문입니다. 로짓이 1 차이 나면 확률은 약 2.718배(e 배) 차이가 납니다.

      낱말

      여기서 쓴 말책에서 부르는 말
      점수로짓(logit)
      점수를 확률로 바꾸기소프트맥스(softmax)
      토큰토큰(token). 낱말이나 낱말 조각
      온도온도(temperature)
      늘 1등만 고르기그리디 디코딩(greedy decoding)
      확률대로 뽑기샘플링(sampling)
      큰 것부터 k 개만 남기기top-k 샘플링
      합이 p 가 될 때까지 남기기top-p 샘플링, 핵 샘플링(nucleus sampling)
      남은 것끼리 다시 나누기재정규화(renormalization)
      낮은 후보들의 꼬리꼬리(tail). 논문은 믿기 어려운 꼬리(unreliable tail)라고 부른다
      퍼진 정도엔트로피(entropy). 단위는 비트(bit)
      난수를 시작하는 수시드(random seed)
      한 낱말씩 이어 쓰기자기회귀 생성(autoregressive generation)
      같이 들고 가는 후보 수빔 너비(beam width)
      다음 토큰을 고르는 방법 전체디코딩 전략(decoding strategy)
      큰 모델의 확률로 작은 모델 가르치기지식 증류(knowledge distillation)

      출처

      ← LLM 은 어떻게 학습하나컨텍스트 윈도우와 KV 캐시 →