소프트맥스, 온도, top-k, top-p
LLM 은 글을 한 번에 쓰지 않습니다. 다음에 올 낱말 하나를 고르고, 그것을 붙인 뒤 또 하나를 고릅니다. 이 쪽은 그 「하나를 고르는」 순간을 봅니다. 로짓(logit, 후보마다의 점수)을 끌어 보고, 온도를 바꿔 보고, 직접 뽑아 보세요.
한 줄 답. 모델은 후보 토큰마다 점수인 로짓을 냅니다. 소프트맥스가 그 로짓을 합이 1 인 확률로 바꾸고, 그 확률대로 하나를 뽑습니다. 온도는 확률을 뾰족하게(낮으면) 또는 고르게(높으면) 만들고, top-k 와 top-p 는 가능성이 낮은 후보를 잘라 냅니다.
오늘 점심은 ?
작게 줄인 본보기: 로짓은 지어낸 것이고 후보가 10개뿐입니다. 진짜 모델은 후보가 수만 개입니다.
초록 막대를 끌거나 숫자 칸에 써서 로짓을 바꿉니다(−6 ~ 6, 가운데 세로선이 0). 파란 막대 e^로짓은 가장 큰 것에 맞춰 그렸고, 검은 막대 확률은 0 ~ 1 그대로입니다. 여기서 바꾼 로짓은 아래 실험에도 그대로 쓰입니다.
1. 모델이 내는 것: 후보마다 로짓
LLM 이 글을 읽고 바로 내놓는 것은 낱말이 아니라 점수표입니다. 아는 토큰 모두에 점수를 하나씩 매깁니다. 점수가 클수록 다음에 올 만하다는 뜻입니다. 이 점수를 로짓이라고 부릅니다.
토큰은 모델이 글을 자르는 단위입니다. 낱말 하나일 때도 있고 낱말 조각일 때도 있습니다. 이 쪽에서는 쉽게 낱말 하나를 토큰 하나로 둡니다.
로짓은 아무 수나 될 수 있습니다. 음수도 있고, 모두 더한 값도 정해져 있지 않습니다. 그래서 그대로는 확률로 쓸 수 없습니다. 확률은 0 이상이어야 하고, 모두 더하면 1 이어야 합니다. 로짓을 확률로 바꾸는 일을 소프트맥스가 합니다.
위 실험은 작게 줄인 본보기입니다. 진짜 모델은 후보가 수만 개이고, 로짓은 사람이 정하지 않습니다. 앞 글 전체를 읽은 신경망이 계산합니다.
2. 소프트맥스: 로짓을 확률로
두 단계입니다. ① 로짓마다 e^로짓 를 구합니다(e 는 약 2.718 인 수). ② 그것을 모두 더한 합으로 나눕니다.
확률ᵢ = e^로짓ᵢ ÷ (e^로짓₁ + e^로짓₂ + … + e^로짓ₙ)
나누는 수가 모두의 합이라서, 나온 확률을 모두 더하면 언제나 1 입니다. 이 식에 온도까지 넣어 한 조각씩 만들어 가는 과정은 5. 식이 만들어지는 과정에서 그림으로 봅니다.
왜 지수(e^로짓)를 쓰나
- 음수도 양수가 됩니다. e^−3 = 0.0498. 확률은 음수가 될 수 없는데, 지수는 늘 0 보다 큽니다.
- 큰 로짓이 더 도드라집니다. 로짓이 1 크면 e^로짓은 2.718배입니다. 로짓의 차이가 확률에서는 배가 됩니다. 가장 큰 것을 부드럽게(soft) 골라 준다고 해서 이름이 소프트맥스입니다.
- 모든 로짓에 같은 수를 더해도 확률이 같습니다.
e^(로짓 + c) = e^로짓 × e^c라서 위와 아래가 같이 e^c 배가 되고, 나누면 지워집니다. 로짓의 차이만 중요합니다.
마지막 성질은 코드에서 쓸모가 있습니다. 컴퓨터는 e^1000 을 셀 수 없습니다(무한대가 됩니다). 그래서 실제 코드는 가장 큰 로짓을 모두에서 빼고 계산합니다. 빼도 결과는 같고, 가장 큰 지수가 e^0 = 1 이 되어 넘치지 않습니다.
function softmax(scores) {
const top = Math.max(...scores);
const powers = scores.map((s) => Math.exp(s - top)); // 가장 큰 것을 빼서 넘치지 않게
const total = powers.reduce((a, b) => a + b, 0);
return powers.map((p) => p / total);
}
해 볼 것. ① 처음 로짓에서 김밥(3)의 e^로짓은 20.1, 합은 50.4, 확률은 0.399 입니다. ② 「모든 로짓 +1」을 누르면 e^로짓이 모두 2.72배가 되고(김밥 54.6) 합도 2.72배(137)가 되지만, 확률 줄은 하나도 바뀌지 않습니다. ③ 우주선의 로짓을 −3 에서 3 으로 끌어 올리면 김밥과 똑같이 0.285 가 됩니다. 로짓이 같으면 확률도 같습니다.
3. 손으로 따라 풀기: 로짓 2, 1, 0
후보가 셋이고 로짓이 김밥 2, 라면 1, 피자 0 이라고 합시다.
- 지수.
e^2 = 7.389,e^1 = 2.718,e^0 = 1. - 합.
7.389 + 2.718 + 1 = 11.107. - 나누기.
7.389 ÷ 11.107 = 0.665,2.718 ÷ 11.107 = 0.245,1 ÷ 11.107 = 0.090. 더하면 1 입니다. - 확인. 김밥과 라면의 확률 비는
0.665 ÷ 0.245 = 2.718. 로짓 차이 1 이 e 배가 되었습니다. 로짓을 모두 1 씩 올린 3, 2, 1 로 해도 0.665, 0.245, 0.090 이 그대로 나옵니다.
| 후보 | 로짓 | e^로짓 | 확률 |
|---|---|---|---|
| 김밥 | 2 | 7.389 | 0.665 |
| 라면 | 1 | 2.718 | 0.245 |
| 피자 | 0 | 1 | 0.090 |
| 합 | 11.107 | 1 |
이 세 숫자는 4절(온도), 5절(식이 만들어지는 과정), 6절(자르기), 7절(샘플링)에서 계속 씁니다.
4. 온도: 뾰족하게, 고르게
온도 T 는 로짓을 나누는 수입니다. 나눈 다음 소프트맥스를 합니다.
확률 = softmax(로짓 ÷ T)
T 가 1 보다 작으면 로짓의 차이가 커져서 1등이 더 많이 가져갑니다(뾰족해집니다). T 가 1 보다 크면 차이가 줄어 고르게 퍼집니다. 순서는 바뀌지 않습니다. 어느 온도에서도 로짓이 큰 것이 확률도 큽니다.
| 온도 T | 로짓 ÷ T | 김밥 | 라면 | 피자 | 엔트로피 |
|---|---|---|---|---|---|
| 0.1 | 20, 10, 0 | 1.000 | 0.000 | 0.000 | 0.0007 비트 |
| 0.5 | 4, 2, 0 | 0.867 | 0.117 | 0.016 | 0.64 비트 |
| 1 | 2, 1, 0 | 0.665 | 0.245 | 0.090 | 1.20 비트 |
| 2 | 1, 0.5, 0 | 0.506 | 0.307 | 0.186 | 1.47 비트 |
온도 0.1 의 김밥은 정확히는 0.99995 입니다. 온도 2 의 줄은 반올림 때문에 더하면 0.999 로 보입니다.
온도가 0 에 가까우면 1등만 남습니다. 늘 가장 큰 것을 고르는 방식을 그리디(greedy)라고 부릅니다. 0 으로는 나눌 수 없으므로, 많은 구현은 온도 0 을 「가장 큰 것 고르기」로 따로 처리합니다. 그리디면 같은 입력에 같은 답이 나옵니다. 다만 실제 서비스에서는 온도를 0 으로 둬도 답이 완전히 같지 않을 수 있습니다. 여러 요청을 묶어 계산하거나 더하는 순서가 바뀌면 소수 끝자리가 달라지고, 1등과 2등이 아주 가까우면 순서가 뒤집힐 수 있기 때문입니다.
온도가 아주 크면 로짓 ÷ T 가 모두 0 에 가까워져, 후보 n 개가 모두 1/n 에 가까워집니다. 로짓을 무시하고 아무거나 고르는 것과 같습니다.
엔트로피(entropy)는 확률이 얼마나 고르게 퍼졌는지를 한 숫자로 나타냅니다. −Σ 확률 × log₂(확률) 로 셉니다. 한 후보가 1 이면 0 비트, 후보 n 개가 똑같으면 log₂ n 비트입니다(셋이면 1.585, 열이면 3.32). 실험의 설명 줄에 늘 나옵니다.
적용 순서: ① 온도로 확률 만들기 → ② top-k 로 자르기 → ③ top-p 로 자르기 → 남은 것끼리 다시 나누기. 구현마다 이 순서가 다를 수 있어, 같은 값을 넣어도 결과가 조금 다를 수 있습니다.
왼쪽 칸은 ② 까지 거친 확률을 큰 것부터 이어 붙인 막대입니다. 막대의 오른쪽 끝을 잇는 검은 선이 「여기까지 더한 확률(누적)」입니다. 주황 점선이 p, 보라 점선이 k 입니다(k 가 10 이면 자르지 않음). 흐린 줄은 잘려 나간 후보입니다.
해 볼 것. ① 처음 값(온도 1)에서 김밥은 0.399, 엔트로피는 2.36 비트입니다. ② 「온도 0.5」를 누르면 김밥이 0.632 로 커지고 엔트로피는 1.50 비트로 줄어듭니다. ③ 온도를 0.1 까지 내리면 김밥 0.993, 0.06 비트. 설명 줄에 「거의 늘 김밥 하나만」이 나옵니다. ④ 온도를 2 로 올리면 김밥 0.246, 2.95 비트. 열 개가 똑같을 때의 3.32 비트에 가까워집니다. 어느 온도에서도 김밥이 1등입니다.
5. 식이 만들어지는 과정: 온도를 넣은 소프트맥스
2절의 소프트맥스와 4절의 온도를 한 식으로 적으면 pᵢ = exp(zᵢ ÷ T) ÷ Σⱼ exp(zⱼ ÷ T) 입니다. zᵢ 는 i 번째 후보의 로짓, pᵢ 는 그 후보의 확률, T 는 온도입니다. exp(z) 는 e^z 를 달리 적은 것이고, Σⱼ 는 「모든 후보 j 에 대해 더한다」는 뜻입니다. 이 식을 한 조각씩 붙여 가며 막대가 어떻게 바뀌는지 봅니다. 로짓은 맨 위 실험의 로짓을 그대로 씁니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 그만큼 옮겨 가거나 줄고, 아래에 까닭이 나옵니다. 막대 색은 맨 위 실험과 같습니다: 초록이 로짓, 파랑이 exp(z), 검정이 확률입니다. 맨 아래 「합」 줄은 막대들을 큰 것부터 이어 붙인 것입니다. 점선 틀은 바로 앞 단계의 막대입니다. 온도 막대는 ④·⑤ 단계에서 움직이고, ⑤ 의 p 는 0.9 로 정해 두었습니다.
- 로짓:
zᵢ. 김밥 3 부터 우주선 −3 까지입니다. 음수가 셋이고, 모두 더하면 5.5 입니다. 까닭: 확률은 0 이상이고 합이 1 이어야 하는데, 로짓은 둘 다 아닙니다. 다음 두 조각이 이 둘을 하나씩 고칩니다. - 모두 양수로:
exp(zᵢ). 김밥 e^3 = 20.1, 라면 e^2.5 = 12.2, 비빔밥 e^2 = 7.39, …, 우주선 e^−3 = 0.0498. 막대가 모두 왼쪽 끝(0)에서 오른쪽으로 뻗습니다. 까닭: exp 는 어떤 수를 넣어도 0 보다 큽니다. 그리고 로짓의 차이가 비율로 바뀝니다. 0.5 차이인 김밥과 라면은 e^0.5 = 1.65 배, 1 차이인 김밥과 비빔밥은 e = 2.718 배입니다. 큰 로짓이 여전히 큰 값이라 순서도 그대로입니다. - 합이 1 이 되게:
exp(zᵢ) ÷ Σⱼ exp(zⱼ). 열 개의 합은 50.4 입니다. 모두 50.4 로 나누면 김밥 0.399, 라면 0.242, …, 우주선 0.001 이 됩니다. 2절의 소프트맥스가 여기까지입니다. 까닭: 모두 같은 수로 나누니 비율(모양)은 그대로이고, 나눈 것들의 합은50.4 ÷ 50.4 = 1입니다. 합 줄을 보면 ② 에서 눈금 밖으로 넘치던 것이 ③ 에서 딱 0 ~ 1 을 채웁니다. - 온도로 차이를 키우거나 줄이기:
pᵢ = exp(zᵢ ÷ T) ÷ Σⱼ exp(zⱼ ÷ T). T = 0.5 면 zᵢ ÷ T 가 6, 5, 4, …, −6 으로 벌어져 김밥과 라면의 비가 1.65 배에서 e = 2.718 배가 되고, 김밥이 0.399 에서 0.632 로 커집니다. T = 2 면 1.5, 1.25, 1, …, −1.5 로 좁아져 비가 e^0.25 = 1.28 배, 김밥은 0.246 입니다. 까닭: ② 에서 본 대로 exp 는 차이를 비율로 바꿉니다. 그래서 차이를 T 로 나누면 비율이 e^(차이 ÷ T) 로 바뀌어, 확률의 모양을 뾰족하게도 평평하게도 할 수 있습니다. T 가 0 보다 크면 순서는 그대로이고, T = 1 이면 ③ 과 같습니다. 여기서 식이 완성됩니다. - 더 나아가기, 자르고 다시 나누기:
pᵢ' = pᵢ ÷ Σ(j∈V) pⱼ. V 는 남긴 후보들이고, 남지 못한 후보는 0 입니다. T = 0.5 의 확률을 큰 것부터 더하면 0.632, 0.865, 0.950 에서 처음 0.9 이상이 되어 셋이 남습니다(top-p 0.9). 셋을 그 합 0.950 으로 나누면 0.665, 0.245, 0.090 입니다. 까닭: 자르면 합이 1 보다 작아지니 다시 1 로 맞춥니다. 남은 것끼리 나누면exp(zᵢ ÷ T) ÷ (남은 후보의 exp(zⱼ ÷ T) 합)이 되어, 남은 후보끼리만 소프트맥스를 한 것과 같습니다. 그래서 숫자가 3절의 손 예제와 똑같습니다. T = 0.5 의 6, 5, 4 는 2, 1, 0 에 4 를 더한 것이고, 모두에 같은 수를 더해도 확률은 같기 때문입니다. top-k 는 V 를 「큰 것부터 k 개」로 바꾼 것입니다.
해 볼 것. ① 4단계에서 온도를 0.1 로 내리면 김밥이 0.993 이 되고, 2 로 올리면 0.246 이 됩니다. 1 에 두면 막대가 점선 틀과 겹칩니다(3단계와 같음). ② 5단계에서 온도를 1 로 두면 다섯이 남고 김밥이 0.429 가 됩니다. 6절의 「top-p 0.9」와 같은 숫자입니다. 2 로 올리면 일곱이 남습니다. ③ 맨 위 실험에서 「모든 로짓 +1」을 누르고 돌아와 보세요. 1단계의 막대와 2단계의 exp 값은 바뀌지만, 3단계부터는 하나도 바뀌지 않습니다.
6. top-k 와 top-p: 낮은 후보 잘라 내기
소프트맥스는 어떤 후보에도 0 을 주지 않습니다. 후보가 수만 개면 하나하나는 아주 작아도, 낮은 후보를 모두 더한 「꼬리」는 꽤 큰 몫이 됩니다. 그 꼬리에서 엉뚱한 낱말이 뽑히면 글이 갑자기 이상해집니다. 그래서 뽑기 전에 꼬리를 잘라 냅니다.
| 방법 | 남기는 것 | 특징 |
|---|---|---|
| top-k | 확률이 큰 것부터 k 개 | 늘 같은 개수를 남긴다. k = 1 이면 그리디와 같다 |
| top-p | 큰 것부터 더해 가다 합이 처음으로 p 이상이 되는 데까지 | 모델이 확신하면 적게, 망설이면 많이 남긴다. p = 1 이면 자르지 않는다 |
자른 뒤에는 남은 것끼리 다시 나눕니다. 남은 확률을 그 합으로 나눠 다시 합이 1 이 되게 합니다.
top-p 를 처음 낸 논문(Holtzman 등, 2019)이 짚은 점은 이렇습니다. 「다음 낱말」이 거의 정해진 자리(예: 「대한민」 다음)에서는 후보 하나가 대부분을 가져갑니다. 이때 k 개를 남기면 엉뚱한 후보가 끼어듭니다. 반대로 무엇이 와도 되는 자리에서는 그럴듯한 후보가 수십 개라서, k 개만 남기면 좋은 후보를 버립니다. top-p 는 합으로 자르니 두 경우에 저절로 맞춰집니다.
손 예제에 top-p 0.9
확률 0.665, 0.245, 0.090 을 큰 것부터 더합니다. 0.665 는 0.9 보다 작으니 계속 갑니다. 0.665 + 0.245 = 0.910 은 0.9 이상이므로 여기서 멈춥니다. 피자가 잘리고, 남은 둘을 0.910 으로 나누면 0.665 ÷ 0.910 = 0.731, 0.245 ÷ 0.910 = 0.269 입니다. 이 예에서는 top-k 2 를 해도 같은 답이 나옵니다.
경계에서
| 경우 | 예 | 결과 |
|---|---|---|
| 더한 값이 딱 p 가 될 때 | 0.5, 0.3, 0.2 에서 p = 0.8 | 0.5 + 0.3 = 0.8 이 p 이상이라 둘을 남긴다 |
| 맨 위 하나가 이미 p 를 넘을 때 | 0.95, 0.03, 0.02 에서 p = 0.9 | 하나만 남는다. 그리디와 같다 |
| 확률이 같은 후보가 경계에 걸릴 때 | 0.4, 0.4, 0.2 에서 k = 1 | 이 쪽은 앞에 있는 후보를 남긴다. 구현마다 다를 수 있다 |
컴퓨터의 소수 덧셈은 끝자리가 조금 틀립니다(0.7 + 0.2 = 0.8999999999999999). 이 쪽의 코드는 p 와 아주 작은 차이(10억분의 1)만 나면 같다고 봅니다.
해 볼 것. 4절의 실험에서 ① 「top-k 3」을 누르면 셋만 남고 김밥이 0.399 에서 0.506 으로 커집니다. ② 「top-p 0.9」를 누르면 누적 선이 0.399, 0.640, 0.787, 0.876, 0.930 으로 오릅니다. 다섯째에서 처음 0.9 를 넘으므로 다섯이 남고, 김밥은 0.429 가 됩니다. ③ top-p 를 0.9 에 둔 채 온도를 0.5 로 내리면 3개, 2 로 올리면 7개가 남습니다. 온도를 올리면 top-p 가 남기는 후보가 늘어납니다. ④ top-p 를 0.3 으로 내리면 김밥 하나(0.399)가 이미 0.3 을 넘어 김밥만 남습니다.
7. 샘플링(sampling): 확률대로 하나 고르기
확률대로 뽑는 방법은 이렇습니다. 후보의 확률을 길이로 삼아 0 ~ 1 의 막대에 큰 것부터 이어 붙입니다. 그리고 0 과 1 사이의 수(난수) 하나를 뽑아, 그 수가 떨어진 칸의 후보를 고릅니다. 칸이 길수록 자주 걸립니다.
손 예제라면 김밥 칸은 0 ~ 0.665, 라면 칸은 0.665 ~ 0.910, 피자 칸은 0.910 ~ 1 입니다. 난수가 0.3 이면 김밥, 0.7 이면 라면, 0.95 면 피자입니다.
컴퓨터의 난수는 정해진 계산으로 만든 수열입니다. 시작하는 수를 시드(seed)라고 합니다. 시드가 같으면 같은 수열이 나오고, 그러면 같은 뽑기 결과가 나옵니다. 실험을 되풀이하거나 버그를 다시 일으킬 때 시드를 고정합니다.
파란 막대는 뽑힌 횟수, 주황 눈금은 확률대로라면 나올 횟수입니다. top-k 와 top-p 는 4절 실험의 값을 그대로 씁니다. 로짓, 온도, 자르기를 바꾸면 횟수가 0 으로 돌아가고 시드도 처음부터 다시 시작합니다.
해 볼 것. ① 처음 값(온도 1, 시드 42)에서 「100번 뽑기」를 한 번 누르면 김밥 39, 라면 27, 비빔밥 15, 국수 8, 떡볶이 6, 샐러드 3, 초밥 1, 굶기 1번이 나옵니다. 확률대로라면 김밥은 39.9번입니다. ② 「다시 처음」을 누르고 다시 100번을 뽑으면 똑같은 결과가 나옵니다. ③ 온도를 0.1 로 내리고 100번 뽑으면 김밥 98, 라면 2번. 2 로 올리면 우주선까지 9가지가 나오고 김밥은 24번입니다. ④ 「시드 고정」을 끄면 누를 때마다 결과가 달라집니다.
8. 한 낱말씩 이어 쓰기
LLM 은 뽑은 토큰을 글 뒤에 붙이고, 늘어난 글로 다시 로짓을 냅니다. 이것을 문장이 끝날 때까지 되풀이합니다. 한 번 고른 토큰은 되돌리지 않습니다. 그래서 앞에서 한 번 엉뚱한 것을 뽑으면 그 뒤 전체가 그쪽으로 끌려갑니다.
아래는 지어낸 작은 표로 문장을 다섯 줄씩 씁니다. 두 칸은 같은 시드를 쓰고 온도만 다릅니다.
작게 줄인 본보기: 이 표는 「지금 자리」 하나만 보고 다음 낱말을 정합니다. 진짜 모델은 앞 글 전체를 보고 다음 토큰을 정합니다.
물결 밑줄은 드문 낱말입니다. 온도 1 에서 그 자리에 올 확률이 5% 보다 낮은 낱말입니다. 「다시 만들기」는 새 시드로 두 칸을 다시 씁니다.
해 볼 것. ① 처음 화면(시드 1)에서 왼쪽(온도 0.2)은 다섯 줄 모두 「나는 오늘 김밥을 먹었다.」입니다. 오른쪽(온도 1.5)은 다섯 줄이 모두 다르고, 「우리는 오늘 라면을 날렸다.」, 「나는 어제 친구와 김밥을 날렸다.」처럼 드문 낱말이 2개 섞입니다. ② 오른쪽 온도를 0.2 로 내리면 두 칸이 똑같아집니다. 시드가 같기 때문입니다. ③ 「다시 만들기」를 여러 번 눌러 보세요. 왼쪽은 거의 그대로이고 오른쪽은 매번 바뀝니다.
정리하면, 온도가 낮으면 늘 비슷한 문장이 나옵니다. 안전하지만 밋밋하고, 길게 쓰면 같은 말을 되풀이하기 쉽습니다. 온도가 높으면 다양해지지만, 꼬리의 엉뚱한 낱말이 끼어들어 말이 안 되는 문장도 나옵니다. top-k 와 top-p 는 다양함은 두고 그 꼬리만 잘라 내려는 방법입니다.
9. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 확률은 모두 0 보다 크고, 합은 1 | 아무리 낮은 로짓도 0 이 되지 않는다. 그래서 자르기(top-k, top-p)가 따로 있다 |
| 순서를 지킨다 | 로짓이 크면 확률도 크다. 온도를 바꿔도 순서는 그대로다 |
softmax(로짓 + c) = softmax(로짓) | 차이만 중요하다. 로짓 차이 1 은 확률 비 e 배(2.718배)가 된다. 넘침을 막으려고 가장 큰 로짓을 빼고 계산한다 |
| T → 0 이면 1등만, T → ∞ 이면 모두 1/n | 온도가 그리디와 「아무거나」 사이를 잇는다 |
| 후보가 둘이면 시그모이드 | softmax(z, 0) 의 첫째 = 1 ÷ (1 + e^−z). z = 2 이면 0.881 |
10. 언제 무엇을 쓰나
정해진 값은 없습니다. 쓸 수 있는 범위와 기본값은 모델과 서비스마다 다릅니다. 아래는 방향만 적었습니다.
| 하는 일 | 온도 | 까닭 |
|---|---|---|
| 코드, 계산, 사실을 묻는 답, 정해진 형식(JSON 등) | 낮게 | 가장 그럴듯한 하나가 필요하다. 엉뚱한 토큰 하나가 전체를 망친다 |
| 요약, 번역, 문서를 보고 답하기 | 낮게 ~ 중간 | 원문에 붙어 있어야 한다 |
| 글쓰기, 이야기, 이름이나 아이디어 내기 | 높게 | 여러 갈래가 필요하다. 같은 말 되풀이를 피한다 |
| 같은 질문에 답을 여러 개 받아 고르기 | 높게 | 답이 서로 달라야 고를 것이 있다 |
온도와 top-p 를 한꺼번에 바꾸면 어느 쪽 때문인지 알기 어렵습니다. 하나씩 바꿔 보세요.
그 밖의 방법
- 그리디(greedy): 늘 1등을 고릅니다. 온도 0, 또는 k = 1 과 같습니다.
- 빔 서치(beam search): 한 토큰씩 바로 정하지 않고, 가능성이 큰 이어짐 여러 개를 같이 들고 가다가 전체 확률이 가장 큰 문장을 고릅니다. 번역처럼 답이 거의 정해진 일에 씁니다. 열린 글쓰기에서는 밋밋하고 같은 말을 되풀이하기 쉽다는 것을 Holtzman 등이 보였습니다.
- 반복 페널티(repetition penalty): 이미 나온 토큰의 로짓을 깎아서 같은 말이 되풀이되지 않게 합니다. 소프트맥스 앞에서 로짓을 고치는 방법입니다.
빔 서치를 따라가 보기
그리디는 걸음마다 그 자리에서 가장 큰 토큰 하나만 고릅니다. 그런데 처음에는 둘째였던 토큰 뒤에 아주 확실한 토큰이 이어지면, 문장 전체로는 그쪽이 더 클 수 있습니다. 빔 서치는 후보를 빔 너비만큼 같이 들고 가며 그런 문장을 찾습니다. 문장의 확률은 토큰 확률의 곱입니다.
P(t₁ t₂ t₃) = P(t₁) × P(t₂ | t₁) × P(t₃ | t₁ t₂)
t₁, t₂, t₃: 첫째, 둘째, 셋째 토큰.P(t₁ t₂ t₃): 세 토큰이 이 순서로 나올 확률. 아래 실험의 「지금까지의 확률」이 이것입니다.P(t₁): 첫 토큰으로 t₁ 이 나올 확률.P(t₂ | t₁): 앞에 t₁ 이 왔을 때 다음이 t₂ 일 확률. 세로줄|는 「~이 왔을 때」라는 뜻입니다. 그림에서 가지 위에 적힌 수입니다.P(t₃ | t₁ t₂): 앞에 t₁ t₂ 가 왔을 때 다음이 t₃ 일 확률. 아래 실험의 표는 바로 앞 토큰 하나(t₂)만 봅니다.
곱 대신 확률에 로그를 씌워 더해도 큰 순서는 같습니다.
작게 줄인 본보기: 확률은 지어낸 것이고, 자리마다 후보가 3개, 문장은 토큰 3개입니다. 이 표는 바로 앞 토큰 하나만 보고 다음 토큰의 확률을 정합니다. 진짜 모델은 앞 글 전체를 봅니다.
| 방법 | 고른 문장 | 확률 |
|---|
가지 위의 수는 그 가지의 확률, 노드 아래의 수는 지금까지의 확률(곱)입니다. 「다음」을 한 번 누르면 ① 살아 있는 후보마다 가지가 자라고(주황 화살표, 「×0.45」와 「= 0.18」이 곱셈), 또 한 번 누르면 ② 전체 확률이 큰 것만 너비만큼 남고 나머지는 잘립니다(흐리게, 줄을 그음). 마지막 걸음에서 아래에 세 방법의 결과가 나란히 나옵니다.
해 볼 것. ① 너비 1 로 끝까지 가면 「나는 밥을 먹었다」(0.5 × 0.5 × 0.4 = 0.1)입니다. 걸음마다 1등 하나만 남기니 그리디와 같습니다. ② 너비 2 에서는 토큰 2 의 후보 6개가 0.25, 0.2, 0.18, … 순이라 「개가 공을」(0.18)이 셋째로 잘리고, 답은 「나는 빵을 먹었다」(0.12)입니다. ③ 너비 3 이면 「개가 공을」이 살아남아 「개가 공을 물었다」(0.4 × 0.45 × 0.8 = 0.144)가 답이 됩니다. 27개 문장을 모두 세어 본 가장 큰 것과 같습니다. 「개가」는 처음에 0.4 로 둘째였지만 뒤의 0.45 와 0.8 덕분에 이깁니다. ④ 마지막 걸음에서 너비 막대를 움직이면 표의 「지금 너비」 줄이 0.1, 0.12, 0.144 로 바뀝니다. 빔 서치는 모두 세어 보지 않으므로, 너비가 작으면 가장 큰 문장을 놓칠 수 있습니다.
어디에 쓰나
- LLM 이 다음 토큰을 고를 때. 이 쪽의 내용 그대로입니다. 앞 단계는 트랜스포머가 로짓을 내는 과정입니다.
- 분류 모델의 마지막 층. 사진이 고양이인지 개인지처럼 「여럿 중 하나」를 고르는 모델은 마지막에 소프트맥스로 확률을 냅니다. 학습할 때는 정답의 확률에 −log 를 씌운 값을 줄입니다. 이것이 교차 엔트로피 손실입니다. LLM 의 학습도 같습니다. 다음 토큰 예측은 후보가 수만 개인 분류입니다.
- 예·아니오 두 가지. 후보가 둘이면 소프트맥스는 시그모이드와 같아집니다. 로지스틱 회귀가 이 경우입니다.
- 어텐션. 트랜스포머 안의 어텐션은 낱말끼리의 점수(내적)를 소프트맥스로 바꿔, 어느 낱말을 얼마나 볼지 정하는 가중치로 씁니다. 다음 토큰을 고를 때만이 아니라 모델 속에서도 소프트맥스가 쓰입니다.
- 큰 모델의 지식을 작은 모델에 옮기기. 큰 모델의 확률을 높은 온도로 부드럽게 만들어 작은 모델에게 가르칩니다. 1등이 아닌 후보에 얼마를 줬는지도 배울 거리가 되기 때문입니다(지식 증류).
자주 묻는 것
온도를 0 으로 하면 늘 같은 답이 나오나요?
원리로는 그렇습니다. 온도가 0 에 가까우면 가장 큰 후보만 고르므로(그리디) 같은 입력에는 같은 답이 나옵니다. 다만 실제 서비스에서는 계산 순서의 아주 작은 차이로 1등과 2등이 뒤바뀔 수 있어, 완전히 같지 않을 수 있습니다.
top-k 와 top-p 는 무엇이 다른가요?
top-k 는 개수로 자르고, top-p 는 확률의 합으로 자릅니다. top-k 는 늘 같은 개수를 남깁니다. top-p 는 모델이 확신하면 후보를 적게, 망설이면 많이 남깁니다.
왜 확률이 가장 큰 것만 고르지 않나요?
늘 1등만 고르면 글이 밋밋해지고 같은 말을 되풀이하기 쉽습니다. 그래서 확률대로 뽑되, 엉뚱한 낱말이 나오는 낮은 꼬리만 잘라 냅니다.
온도는 얼마로 두면 되나요?
정해진 값은 없습니다. 코드나 사실을 묻는 답처럼 정확해야 하면 낮게, 글쓰기나 아이디어처럼 다양해야 하면 높게 둡니다. 쓸 수 있는 범위와 기본값은 서비스마다 다르니 그 문서를 보세요.
소프트맥스에서 왜 지수를 쓰나요?
음수 로짓도 양수로 바꾸고, 로짓이 큰 것을 더 도드라지게 하기 때문입니다. 로짓이 1 차이 나면 확률은 약 2.718배(e 배) 차이가 납니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 점수 | 로짓(logit) |
| 점수를 확률로 바꾸기 | 소프트맥스(softmax) |
| 토큰 | 토큰(token). 낱말이나 낱말 조각 |
| 온도 | 온도(temperature) |
| 늘 1등만 고르기 | 그리디 디코딩(greedy decoding) |
| 확률대로 뽑기 | 샘플링(sampling) |
| 큰 것부터 k 개만 남기기 | top-k 샘플링 |
| 합이 p 가 될 때까지 남기기 | top-p 샘플링, 핵 샘플링(nucleus sampling) |
| 남은 것끼리 다시 나누기 | 재정규화(renormalization) |
| 낮은 후보들의 꼬리 | 꼬리(tail). 논문은 믿기 어려운 꼬리(unreliable tail)라고 부른다 |
| 퍼진 정도 | 엔트로피(entropy). 단위는 비트(bit) |
| 난수를 시작하는 수 | 시드(random seed) |
| 한 낱말씩 이어 쓰기 | 자기회귀 생성(autoregressive generation) |
| 같이 들고 가는 후보 수 | 빔 너비(beam width) |
| 다음 토큰을 고르는 방법 전체 | 디코딩 전략(decoding strategy) |
| 큰 모델의 확률로 작은 모델 가르치기 | 지식 증류(knowledge distillation) |
출처
- Holtzman, Buys, Du, Forbes, Choi (2019). The Curious Case of Neural Text Degeneration. top-p(핵 샘플링)를 낸 논문. 그리디와 빔 서치가 되풀이를 낳는 것도 이 논문에서 보였습니다.
- Fan, Lewis, Dauphin (2018). Hierarchical Neural Story Generation. 이야기 생성에 top-k 샘플링을 썼습니다.
- Hinton, Vinyals, Dean (2015). Distilling the Knowledge in a Neural Network. 소프트맥스의 온도와 지식 증류.
- PyTorch torch.nn.functional.softmax 문서.
- Hugging Face Transformers 텍스트 생성 문서. 온도, top-k, top-p 를 정하는 설정.