어텐션: 낱말이 서로를 참고하는 방법
「미나는 컵을 샀는데 그게 금방 깨졌다.」 여기서 「그게」는 무엇일까요? 사람은 앞의 낱말을 돌아보고 「컵」이라고 압니다. 어텐션은 모델이 이 일을 숫자로 하는 방법입니다. 낱말 하나를 골라 그 낱말이 어디를 보는지 보세요.
한 줄 답. 어텐션은 문장의 각 낱말(토큰)이 다른 낱말들을 얼마나 참고할지 비율을 정하고, 그 비율대로 정보를 섞어 자기 뜻을 새로 만드는 계산입니다. 비율은 「내가 찾는 것(쿼리, query)」과 「상대가 가진 것(키, key)」의 내적으로 정합니다. 내적이 클수록 많이 참고합니다.
작게 줄인 본보기. 벡터는 2차원이고 숫자는 설명하려고 사람이 정했습니다. 진짜 모델은 수백~수천 차원이고 숫자를 학습으로 정하며, 이런 계산을 여러 개(헤드) 여러 겹 합니다.
문장: 「미나는 컵을 샀는데 그게 금방 깨졌다」. 보는 낱말을 고르세요.
격자의 숫자는 「그 줄의 낱말이 그 칸의 낱말을 참고하는 비율」입니다. 줄마다 합이 100% 입니다. 「막힘」은 막힌 칸입니다. 여기서는 띄어 쓴 덩어리 하나를 토큰 하나로 쳤습니다. 진짜 모델은 「미나」와 「는」처럼 더 잘게 자르기도 합니다.
1. 왜 필요한가
같은 낱말도 문맥에 따라 뜻이 다릅니다. 「배가 고프다」의 배는 몸이고, 「배를 깎았다」의 배는 과일입니다. 「그게」는 앞에 무엇이 나왔는지 봐야 압니다. 낱말 하나만 봐서는 뜻이 정해지지 않습니다.
임베딩은 낱말마다 벡터 하나를 줍니다. 그런데 이 벡터는 문맥을 모릅니다. 「배」는 어느 문장에 있든 같은 벡터입니다. 어텐션은 주변 낱말의 정보를 섞어 문맥에 맞는 새 벡터를 만듭니다.
멀리 떨어진 낱말도 바로 참고합니다. 예전에 많이 쓰던 순환 신경망(RNN)은 낱말을 하나씩 차례로 읽으며 기억을 다음으로 넘겼습니다. 멀리 떨어진 낱말의 정보는 여러 번 넘겨지는 동안 흐려지기 쉽습니다. 어텐션은 모든 낱말 쌍을 한 번에 직접 비교합니다. 첫 낱말과 마지막 낱말 사이도 한 걸음입니다.
해 볼 것. ① 처음에는 「그게」가 골라져 있습니다. 「컵을」 68%, 자기 자신 16%, 「미나는」 8% 입니다. 「그게」가 컵을 가리킨다는 것을 숫자로 찾았습니다. ② 「깨졌다」를 고르면 「컵을」 54%, 「그게」 22% 입니다. 깨진 것이 무엇인지 찾습니다. ③ 「샀는데」는 「미나는」과 「컵을」을 33% 씩 봅니다. 누가 무엇을 샀는지입니다.
이 숫자들은 이렇게 나오도록 사람이 정했습니다. 진짜 모델에서는 이런 관계를 학습이 찾아냅니다. 어떤 관계를 볼지 사람이 정해 주지 않습니다.
2. 쿼리, 키, 밸류: 도서관 비유
도서관에서 책을 찾는다고 해 봅시다. 찾는 말(쿼리)을 들고, 책마다 붙은 이름표(키)와 맞춰 보고, 잘 맞는 책의 내용(밸류, value)을 읽습니다. 어텐션도 같습니다. 다른 점은 둘입니다. 한 권만 고르지 않고 모든 책을 비율대로 조금씩 읽습니다. 그리고 맞춰 보는 방법이 내적입니다.
| 이름 | 비유 | 하는 일 | 실험에서 |
|---|---|---|---|
| 쿼리 q | 찾는 말 | 고른 낱말이 무엇을 찾는지 | 초록 화살표 |
| 키 k | 책의 이름표 | 낱말마다 「나는 이런 낱말이다」 하고 내미는 것 | 파랑 화살표 |
| 밸류 v | 책의 내용 | 참고될 때 실제로 건네주는 정보 | 단계 표의 v 칸 |
낱말마다 q, k, v 를 하나씩 가집니다. 셋 다 같은 낱말의 벡터에서 나옵니다. 그 벡터에 서로 다른 행렬 셋을 곱해 만듭니다(행렬 곱셈). 행렬의 숫자는 학습으로 정합니다. 그래서 한 낱말이 「찾는 것」과 「내미는 것」과 「건네주는 것」이 서로 다를 수 있습니다.
낱말을 고르세요. 같은 행렬 셋이 그 낱말의 벡터 x 를 q, k, v 로 바꿉니다.
q = WQ x, k = WK x, v = WV x
- x: 낱말의 벡터. 이 본보기는 2칸입니다. 첫 층에서는 임베딩이고, 그 위 층에서는 아래 층이 내놓은 벡터입니다(10절).
- WQ, WK, WV: q, k, v 를 만드는 행렬 셋. 여기서는 2×2 입니다. 모든 낱말이 같은 셋을 씁니다. 숫자는 학습으로 정합니다.
- q, k, v: 쿼리, 키, 밸류. 행렬에 x 를 곱한 결과입니다. 결과의 칸 i 는 「행렬의 줄 i · x」(내적)입니다.
이 실험의 x 와 행렬은 사람이 정했습니다. 「컵을」과 「그게」의 q, k, v 가 3절 실험의 숫자와 같게 맞췄습니다. 칸이 둘뿐인 x 와 2×2 행렬로는 여섯 낱말을 모두 3절의 숫자대로 맞출 수 없어서 둘만 보입니다.
이 본보기에서는 v 의 두 칸을 (사람다움, 물건다움)으로 정했습니다. 「미나는」은 (1, 0), 「컵을」은 (0, 1) 입니다. 「그게」는 (0.5, 0.5) 로, 혼자서는 사람인지 물건인지 모릅니다. 동사와 「금방」은 (0, 0) 으로 두었습니다. 칸이 둘뿐이라 다른 뜻은 담지 못합니다.
3. 계산을 한 단계씩
고른 낱말 하나의 새 벡터는 네 단계로 나옵니다.
- 내적. 고른 낱말의 q 와 모든 낱말의 k 를 하나씩 내적합니다. 방향이 비슷하고 길수록 큽니다. 이것이 점수입니다.
- √d 로 나누기. d 는 q 와 k 의 칸 수입니다. 이 본보기는 d = 2 라서 √2 ≈ 1.41 로 나눕니다. 까닭은 4절에 있습니다.
- 소프트맥스. 점수를 합이 1 인 비율로 바꿉니다. 점수마다 e(≈ 2.718)의 거듭제곱을 하고, 그 값들의 합으로 나눕니다. 모두 양수가 되고, 큰 점수는 더 크게 벌어집니다. 자세히는 샘플링 쪽에 있습니다.
- 섞기. 그 비율대로 모든 낱말의 v 를 섞습니다(가중 평균). 비율 × v 를 모두 더한 것이 고른 낱말의 새 벡터입니다.
q() = ( , )
초록 화살표: q 에서 각 낱말로(①② 끝의 숫자 = 점수, ③ 굵기 = 비율). 검은 화살표: 비율 × v 가 새 벡터로 모인다(④). 회색 점선: 막힘.
화살표 끝을 끌거나 숫자를 고치면 비율이 바로 바뀝니다. 표의 k 칸에서도 키를 고칠 수 있습니다. 위 실험의 인과 마스크와 배수는 이 표에도 그대로 쓰입니다.
해 볼 것. ① 「그게」를 고른 채 「다음 단계」를 네 번 누르세요. ① 내적은 「컵을」 3, 「그게」 1, 「미나는」 0, 「깨졌다」 −1, 「샀는데」와 「금방」 −2 입니다. ② √2 로 나누면 「컵을」 2.12. ③ 비율은 「컵을」 0.68. ④ 새 벡터는 (0.16, 0.76) 입니다. 섞기 전에 (0.5, 0.5) 이던 「그게」가 물건 쪽으로 기울었습니다. ② 초록 q 를 (0, 2) 로 옮기면 「미나는」의 키와 같은 쪽을 봅니다. 「미나는」이 50% 가 되고 새 벡터는 (0.62, 0.24), 사람 쪽입니다. 「그게」 대신 「그녀」였다면 이렇게 찾아야 합니다. ③ q 를 (−2, 0) 으로 돌리면 「컵을」의 키와 반대 방향이라 「컵을」이 1% 로 떨어집니다.
4. 식 하나로: softmax(Q Kᵀ ÷ √d) V
3절은 낱말 하나의 계산입니다. 모든 낱말을 한꺼번에 하면 식 하나가 됩니다. 낱말들의 q 를 줄마다 하나씩 쌓은 표를 Q, k 를 쌓은 표를 K, v 를 쌓은 표를 V 라고 합니다.
어텐션(Q, K, V) = softmax(Q Kᵀ ÷ √d) V
이 식이 조각 하나씩 어떻게 붙어 만들어지는지는 5. 식이 만들어지는 과정에서 그림으로 봅니다.
| 부분 | 쉬운 말 |
|---|---|
Q Kᵀ | 모든 낱말 쌍의 내적을 한 번에 구한 표. 줄 i, 칸 j 는 「낱말 i 의 q · 낱말 j 의 k」. Kᵀ 는 K 를 눕힌 것(줄과 칸을 바꾼 것)이고, 행렬 곱셈 한 번으로 끝납니다 |
÷ √d | 표의 모든 칸을 √d 로 나눈다 |
softmax(…) | 줄마다 따로 합이 1 인 비율로 바꾼다. 실험의 격자 그림인 어텐션 맵(attention map)이 바로 이 표입니다 |
(…) V | 비율 표 × V. 줄마다 v 들을 그 줄의 비율로 섞는다. 낱말마다 새 벡터가 하나씩 나옵니다 |
√d 로 나누는 까닭. 칸 수 d 가 크면 내적에서 더하는 항이 많아져 점수가 크게 벌어지고, 그러면 소프트맥스가 한 곳에 몰려 학습이 잘 되지 않습니다. q 와 k 의 칸이 서로 독립인 평균 0, 분산 1 의 수라면 내적의 분산은 d 입니다. √d 로 나누면 분산이 1 로 돌아옵니다.
5. 식이 만들어지는 과정
4절의 식을 조각 하나씩 붙여 만듭니다. 낱말은 6절의 손 예제와 같은 셋(미나는 · 컵을 · 그게)이고, q, k, v 는 실험과 같은 숫자입니다. 그림의 줄은 보는 낱말(초록 q), 칸은 보이는 낱말(파랑 k)이고, 칸 안의 막대와 숫자가 그 짝의 값입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그 단계만큼 바뀌고, 아래에 까닭이 나옵니다. 그림의 주황 테두리는 이번 단계에 새로 생긴 곳입니다. ①② 의 점수와 ③ 부터의 비율은 막대의 눈금이 다릅니다. 이 그림은 위 실험에서 바꾼 값을 쓰지 않고 늘 처음 숫자로 셉니다.
- 한 쌍의 점수:
q · k. 「그게」의 q = (2, 0) 과 「컵을」의 k = (1.5, 1) 을 내적하면2×1.5 + 0×1 = 3입니다. 까닭: 3절에서 본 대로 두 벡터가 같은 쪽을 볼수록 내적이 커서, 「얼마나 맞나」를 숫자 하나로 잴 수 있습니다. - 모든 짝을 한 번에:
Q Kᵀ. q 셋을 줄로 쌓은 Q 는 3×2, k 셋을 칸으로 세운 Kᵀ 는 2×3 입니다. 행렬 곱셈의 줄 i, 칸 j 는 「Q 의 줄 i · Kᵀ 의 칸 j」, 곧 「낱말 i 의 q · 낱말 j 의 k」라서, 곱셈 한 번이 내적 3×3 = 9 개를 모두 냅니다. 「그게」 줄은 0, 3, 1 입니다. 까닭: 낱말마다 따로 세지 않고 한 번에 셀 수 있습니다. 「미나는」과 「컵을」 줄은 점수가 모두 음수입니다. 두 낱말의 q 는 여섯 낱말 문장에서 동사(「샀는데」, 「깨졌다」)의 k 와 잘 맞도록 정한 숫자라, 동사를 뺀 이 셋에는 잘 맞는 짝이 없습니다. - 비율로:
softmax(Q Kᵀ). 줄마다 점수의 e 거듭제곱을 그 줄의 합으로 나눕니다. 「그게」 줄은1, 20.09, 2.72를 합23.8로 나눠0.04, 0.84, 0.11입니다(반올림해서 더하면 0.99). 까닭: 다음에 v 들을 섞으려면 비율이 0 보다 크고 합이 1 이어야 합니다. 점수는 음수도 되고 줄마다 합이 제각각이라 그대로는 쓸 수 없습니다. - 쏠림 줄이기:
softmax(Q Kᵀ ÷ √d). 소프트맥스 전에 점수를 √d 로 나눕니다. d = 2 라 √2 ≈ 1.41 로 나누면 「그게」 줄의 점수는 0, 2.12, 0.71 이 되고, 비율은0.04, 0.84, 0.11에서0.09, 0.73, 0.18로 바뀝니다. 큰 비율은 줄고 작은 비율은 늘었습니다. 까닭: 칸 수 d 가 클수록 점수가 크게 벌어지기 때문입니다. q 와 k 의 칸들이 서로 독립이고 평균 0, 분산 1 이라고 가정하면, 항 하나 qiki 는 평균 0, 분산 1 이고, 내적q₁k₁ + q₂k₂ + …는 그런 항 d 개의 합이라 분산이 d, 표준편차가 √d 입니다. d = 64 면 표준편차가 8 입니다. 점수 셋이 표준편차 하나씩 떨어진(−8, 0, 8)이면 소프트맥스는 약(0.0000, 0.0003, 0.9997)로 거의 한 칸에 다 줍니다. 8 로 나눈(−1, 0, 1)은(0.09, 0.24, 0.67)입니다. 같은 가정에서 √d 로 나누면 분산이 1 이 되어, 칸 수와 상관없이 점수가 비슷한 크기로 남습니다. 원 논문은 한 칸에 쏠린 소프트맥스는 기울기(그래디언트)가 아주 작아져 학습이 어려워진다고 봅니다. 이것은 여기서 증명하지 않습니다. - 섞기:
어텐션(Q, K, V) = softmax(Q Kᵀ ÷ √d) V. 비율 표(3×3)에 V(3×2)를 곱합니다. 결과의 줄 i 는 줄 i 의 비율로 v 들을 섞은 것, 곧 낱말 i 의 새 벡터입니다. 「그게」 =0.09×(1, 0) + 0.73×(0, 1) + 0.18×(0.5, 0.5) = (0.18, 0.82). 까닭: 비율은 얼마나 볼지일 뿐이고, 실제로 건네받는 정보는 v 입니다. 섞기 전의 (0.5, 0.5) 가 물건 쪽으로 기울었습니다.
책의 식에서는 ÷√d 가 소프트맥스 안에 있습니다. 여기서는 나누기 전과 후의 비율을 비교하려고 소프트맥스를 먼저 보였습니다. 이 본보기의 숫자는 위 가정대로 뽑은 것이 아니라 사람이 정한 것이고, √2 로 나눈 것은 규칙을 따랐을 뿐입니다.
6. 손으로 따라 풀기: 토큰 셋
문장을 「미나는 · 컵을 · 그게」 셋으로 줄입니다. 숫자는 실험과 같습니다. 「그게」의 새 벡터를 끝까지 구합니다. 「그게」의 쿼리는 q = (2, 0) 입니다.
| 낱말 | 키 k | 밸류 v |
|---|---|---|
| 미나는 | (0, 2) | (1, 0) |
| 컵을 | (1.5, 1) | (0, 1) |
| 그게 | (0.5, 1.5) | (0.5, 0.5) |
- 내적.
q · k(미나는) = 2×0 + 0×2 = 0,q · k(컵을) = 2×1.5 + 0×1 = 3,q · k(그게) = 2×0.5 + 0×1.5 = 1. - √2 로 나누기.
0 ÷ 1.41 = 0,3 ÷ 1.41 ≈ 2.12,1 ÷ 1.41 ≈ 0.71. - 소프트맥스. e 의 거듭제곱:
e⁰ = 1,e²·¹² ≈ 8.34,e⁰·⁷¹ ≈ 2.03. 합은≈ 11.37. 하나씩 합으로 나누면 비율은0.09, 0.73, 0.18. 더하면 1 입니다. - 섞기.
0.09 × (1, 0) + 0.73 × (0, 1) + 0.18 × (0.5, 0.5) = (0.09, 0) + (0, 0.73) + (0.09, 0.09) = (0.18, 0.82). - 읽기. 섞기 전의 「그게」는 (0.5, 0.5) 였습니다. 섞은 뒤에는 (0.18, 0.82) 로 물건다움이 커졌습니다. 낱말 여섯 개로 다 하면 실험의 값 (0.16, 0.76) 이 나옵니다. 동사들이 비율을 조금 가져가고, 그 v 는 (0, 0) 이라서 조금 작아집니다.
7. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 줄마다 비율의 합은 1 | 새 벡터는 v 들의 가중 평균입니다. v 들이 이루는 범위 밖으로 나가지 않습니다 |
| 비율은 0 보다 크다(막힌 칸만 0) | 소프트맥스는 0 을 내지 않습니다. 점수가 아무리 낮아도 아주 조금은 봅니다 |
| q 와 k 의 방향이 비슷하고 길수록 비율이 크다 | 내적이 크기 때문입니다. 반대 방향이면 거의 보지 않습니다 |
| 순서를 모른다 | 낱말의 자리는 계산에 들어가지 않습니다. 순서를 섞어도 각 낱말이 받는 비율은 같습니다(11절) |
| 계산량은 토큰 수의 제곱 | 낱말이 n 개면 비율이 n × n 개입니다(12절) |
8. 켜고 끌 것: 인과 마스크와 배수
인과 마스크. 글을 한 토큰씩 써 나가는 모델은 「다음 토큰 맞히기」로 배웁니다. 배울 때 뒤의 낱말을 볼 수 있으면 답을 미리 보는 셈입니다. 그래서 각 낱말이 자기와 앞의 낱말만 보게 막습니다. 막는 방법은 간단합니다. 막을 칸의 점수를 −∞ 로 바꿉니다. e 의 −∞ 제곱은 0 이라서 소프트맥스 뒤에 그 칸의 비율이 0 이 됩니다. 격자에서는 오른쪽 위 삼각형이 막힙니다.
배수(날카롭게, 고르게). 소프트맥스에 넣기 전의 점수에 곱하는 수입니다. 크게 하면 큰 점수가 더 크게 벌어져 비율이 한 곳에 몰립니다. 0 으로 하면 점수가 모두 0 이 되어 비율이 모두 같아집니다. 점수를 온도 T 로 나누는 것과 같습니다(배수 = 1 ÷ T). 보통의 어텐션에는 이런 막대가 없고, √d 로 나누는 것이 정해진 배수 노릇을 합니다. 여기서는 소프트맥스가 점수의 크기에 얼마나 민감한지 보려고 넣었습니다. 글을 고를 때 쓰는 온도는 샘플링 쪽에 있습니다.
해 볼 것. ① 「뒤 낱말은 못 보게」를 켜면 격자의 오른쪽 위가 「막힘」으로 바뀝니다. 「미나는」은 앞에 낱말이 없어 자기 자신만 봅니다(100%). 「그게」는 「금방」과 「깨졌다」를 못 보게 되어 남은 넷이 비율을 나눕니다. 「컵을」이 68% 에서 72% 로 오릅니다. 맨 끝의 「깨졌다」는 원래 모두 앞에 있으니 바뀌지 않습니다. ② 마스크를 끄고 배수를 0 으로 내리면 모든 칸이 17%(= 1 ÷ 6)가 됩니다. ③ 배수를 3 으로 올리면 「그게」는 「컵을」만 98% 봅니다. 0.5 로 내리면 41% 로 퍼집니다.
9. 셀프 어텐션과 크로스 어텐션
이 쪽의 실험은 셀프 어텐션입니다. q, k, v 가 모두 같은 문장에서 나옵니다. 문장이 자기 자신을 봅니다.
크로스 어텐션은 두 문장 사이에서 합니다. q 는 한쪽 문장에서, k 와 v 는 다른 쪽 문장에서 나옵니다. 번역이 좋은 예입니다. 번역문을 한 낱말씩 쓸 때, 지금 쓰는 자리의 q 로 원문 낱말들의 k 를 맞춰 보고 원문의 v 를 섞어 가져옵니다. 번역 모델이 원문의 관련 부분을 스스로 찾게 한 Bahdanau 등(2014)의 방법이 이 꼴입니다. 그때는 점수를 내적 대신 작은 신경망으로 셌습니다.
| 셀프 어텐션 | 크로스 어텐션 | |
|---|---|---|
| q 가 나오는 곳 | 이 문장 | 이 문장(예: 쓰고 있는 번역문) |
| k, v 가 나오는 곳 | 이 문장 | 다른 문장(예: 원문) |
| 어텐션 맵의 모양 | n × n | 이 문장의 길이 × 다른 문장의 길이 |
10. 여러 헤드: 서로 다른 관계를 본다
실험의 비율 표는 하나입니다. 진짜 모델은 q, k, v 를 만드는 행렬 묶음을 여러 개 두고 나란히 계산합니다. 묶음 하나를 헤드라고 합니다. 원 논문(Vaswani 등, 2017)의 기본 모델은 헤드가 8개입니다.
헤드마다 비율 표가 따로 나오므로 서로 다른 관계를 볼 수 있습니다. 한 헤드는 대명사가 가리키는 낱말을, 다른 헤드는 동사와 그 목적어를 보는 식입니다. 원 논문 끝의 그림에도 대명사가 가리키는 말을 찾는 것처럼 보이는 헤드가 나옵니다. 헤드들이 낸 새 벡터들은 이어 붙인 뒤 행렬 하나를 곱해 원래 크기로 돌립니다.
3절과 같은 문장에 헤드가 둘입니다. 헤드 1 은 3절 실험의 숫자 그대로이고, 헤드 2 는 q, k, v 가 다릅니다. 표의 줄은 보는 낱말, 칸은 보이는 낱말이고, 줄마다 합이 100% 입니다.
초록 화살표: 낱말의 비율 × v 가 그 헤드의 새 벡터로 모인다(굵을수록 비율이 크다). 검은 화살표: 이어 붙이기(③)와 출력 행렬 곱하기(④). 헤드마다 무엇을 보게 될지는 학습이 정합니다. 여기서는 보여 주려고 사람이 손으로 정했습니다. 출력 행렬의 숫자도 마찬가지입니다.
이런 어텐션 층을 여러 겹 쌓습니다. 한 층의 결과가 다음 층의 입력이 되므로, 위 층으로 갈수록 문맥이 더 많이 섞인 벡터가 됩니다. 어떻게 쌓는지는 트랜스포머 쪽에서 봅니다.
주의. 어텐션 맵은 계산하는 동안 어느 낱말의 정보를 얼마나 섞었는지일 뿐, 모델이 왜 그렇게 답했는지에 대한 설명은 아닙니다(Jain, Wallace 2019).
11. 순서는 따로 알려 줘야 한다
어텐션의 계산에는 낱말의 자리가 들어가지 않습니다. 낱말들의 순서를 섞어도 각 낱말이 받는 비율과 새 벡터는 그대로이고 자리만 바뀝니다. 실험으로도 볼 수 있습니다. 영어 쪽 실험은 같은 숫자를 다른 순서(Mina bought cups. They soon broke.)로 놓았는데, 「They」의 줄은 「그게」의 줄과 똑같이 68%, 16%, 8% 입니다.
하지만 글은 순서에 뜻이 있습니다. a − b 와 b − a 는 같은 토큰 셋인데 뜻이 다릅니다. 그래서 트랜스포머는 낱말 벡터에 「몇 번째 자리인지」를 담은 벡터를 더해 넣습니다. 이것을 위치 정보라고 합니다. 자세히는 트랜스포머 쪽에 있습니다.
12. 계산량은 토큰 수의 제곱: 컨텍스트 윈도우
토큰이 n 개면 비율이 n × n 개 나옵니다. 토큰이 2배가 되면 비율 표와 계산은 4배가 됩니다. 토큰 1,000 개면 100만 칸, 10,000 개면 1억 칸입니다. 헤드와 층마다 이 표가 하나씩 있습니다.
그래서 모델마다 한 번에 넣을 수 있는 토큰 수에 상한이 있습니다. 이것을 컨텍스트 윈도우이라고 합니다. 상한이 있는 까닭은 여럿이고, 이 제곱의 비용이 그 가운데 하나입니다. 컨텍스트 윈도우보다 긴 글은 잘라 내거나 나눠서 넣어야 합니다.
어디에 쓰나
- 글을 쓰는 언어 모델. 인과 마스크를 켠 셀프 어텐션을 여러 겹 쌓아, 앞의 글을 보고 다음 토큰을 하나씩 고릅니다.
- 번역. 크로스 어텐션으로 원문의 어느 낱말을 볼지 정합니다. Bahdanau 등(2014)의 논문도, 트랜스포머 원 논문도 번역으로 시험했습니다.
- 이미지. 사진을 작은 조각(예: 16×16 픽셀)으로 잘라 조각 하나를 토큰 하나처럼 다룹니다. 그러면 같은 어텐션으로 조각끼리 서로를 참고합니다(Dosovitskiy 등, 2020).
자주 묻는 것
어텐션이 뭔가요?
문장의 각 낱말(토큰)이 다른 낱말들을 얼마나 참고할지 비율을 정하고, 그 비율대로 정보를 섞어 자기 뜻을 새로 만드는 계산입니다. 비율은 「내가 찾는 것(쿼리)」과 「상대가 가진 것(키)」의 내적으로 정합니다.
쿼리, 키, 밸류는 어디서 나오나요?
셋 다 같은 낱말의 벡터에서 나옵니다. 그 벡터에 서로 다른 행렬 셋을 곱해 만듭니다. 행렬의 숫자는 학습으로 정합니다.
왜 √d 로 나누나요?
칸 수 d 가 크면 내적 값이 크게 벌어져 소프트맥스가 한 곳에 몰리고, 학습이 잘 되지 않습니다. √d 로 나누면 칸 수와 상관없이 점수가 비슷한 크기로 유지됩니다.
셀프 어텐션과 크로스 어텐션은 뭐가 다른가요?
셀프 어텐션은 쿼리, 키, 밸류가 모두 같은 문장에서 나옵니다. 크로스 어텐션은 쿼리는 한 문장(예: 번역해서 쓰고 있는 문장)에서, 키와 밸류는 다른 문장(예: 원문)에서 나옵니다.
어텐션 맵을 보면 모델이 왜 그렇게 답했는지 알 수 있나요?
아닙니다. 어텐션 맵은 계산하는 동안 어느 낱말의 정보를 얼마나 섞었는지일 뿐입니다. 헤드와 층이 여럿이고 다른 계산도 같이 일하므로, 그림만으로 모델이 그렇게 답한 이유를 설명할 수는 없습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 낱말, 낱말 조각 | 토큰(token) |
| 참고하는 비율 | 어텐션 가중치(attention weight) |
| 내가 찾는 것 | 쿼리(query) |
| 상대의 이름표 | 키(key) |
| 건네주는 내용 | 밸류(value) |
| 소프트맥스 앞의 점수 | 어텐션 점수(attention score), 로짓(logit) |
| √d 로 나누는 내적 어텐션 | 스케일드 닷프로덕트 어텐션(scaled dot-product attention) |
| 합이 1 인 비율로 바꾸기 | 소프트맥스(softmax) |
| 비율대로 섞기 | 가중 평균(weighted average), 가중합(weighted sum) |
| 뒤 낱말은 못 보게 | 인과 마스크(causal mask), 마스크드 셀프 어텐션(masked self-attention) |
| 같은 문장 안에서 보기 | 셀프 어텐션(self-attention) |
| 다른 문장을 보기 | 크로스 어텐션(cross-attention), 인코더-디코더 어텐션(encoder-decoder attention) |
| 여러 개를 나란히 | 멀티헤드 어텐션(multi-head attention), 헤드(head) |
| 낱말 짝마다 비율을 칠한 격자 | 어텐션 맵(attention map), 히트맵(heatmap) |
| 배수 | 온도(temperature)의 역수 |
| 위치 정보 | 위치 인코딩(positional encoding) |
| 한 번에 넣을 수 있는 토큰 수 | 컨텍스트 윈도우(context window), 컨텍스트 길이(context length) |
| 칸 수 | 차원(dimension), d 또는 dk |
| K 를 눕힌 것 | 전치(transpose), Kᵀ |
출처
- Vaswani 등 (2017). Attention Is All You Need. 식 softmax(QKᵀ ÷ √d) V, √d 로 나누는 까닭(각주), 마스크를 −∞ 로 두는 방법, 헤드 8개, 위치 정보, 계산량 표(표 1)는 이 논문에서 가져왔습니다.
- Bahdanau, Cho, Bengio (2014). Neural Machine Translation by Jointly Learning to Align and Translate.
- Jain, Wallace (2019). Attention is not Explanation.
- Dosovitskiy 등 (2020). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale.