위치 인코딩: 어텐션에 순서를 알려 주기
어텐션은 낱말들을 서로 비교하기만 해서, 낱말의 차례를 섞어도 결과가 같습니다. 그래서 「몇 번째 자리인가」를 숫자 벡터로 만들어 낱말 벡터에 더합니다. 위치 번호를 그대로 쓰면 왜 안 되고, 왜 도는 빠르기인 주파수(frequency)가 다른 sin·cos 물결을 여러 개 쓰는지 한 단계씩 봅니다.
한 줄 답. 위치 인코딩은 토큰마다 「몇 번째 자리인가」를 나타내는 벡터를 만들어 낱말 벡터에 더하는 일입니다. 어텐션은 순서를 모르기 때문에 필요합니다. 원 논문은 칸마다 주파수가 다른 물결을 씁니다: PE(pos, 2i) = sin(pos ÷ 10000^(2i÷d)), PE(pos, 2i+1) = cos(pos ÷ 10000^(2i÷d)). 위치마다 벡터를 학습하는 표, 거리만 보는 상대 위치, 쿼리·키(query·key) 벡터를 돌리는 회전 위치 임베딩(RoPE)도 있습니다.
격자의 줄 하나가 그 위치의 토큰에 더하는 벡터입니다. 줄을 누르면 A 와 B 가 번갈아 옮겨 가고, 숫자 칸으로도 고를 수 있습니다. 아래 막대는 두 줄의 값이고, 설명 줄의 내적은 칸마다 곱해 더한 값입니다. 작게 줄인 본보기라 칸이 8 개뿐입니다(진짜 모델은 수백 ~ 수천 칸). 위치 32 부터 옅게 덮은 줄은 이 장난감 모델이 위치 0 ~ 31 로만 학습했다고 칠 때 학습한 길이 밖입니다.
해 볼 것. ① 처음(A = 1, B = 2)의 내적은 3.54 입니다. B 를 1 로 옮겨 A 와 같게 하면 4 로 가장 큽니다. ② A = 10, B = 11 이나 A = 30, B = 31 로 옮겨도 1 칸 거리라 3.54 그대로입니다. ③ A = 0 에서 B = 3 이면 1.96 인데 B = 6 이면 3.78 로 다시 커집니다. 내적은 거리에만 달렸지만, 멀수록 늘 작아지지는 않습니다. ④ B 를 40 으로 옮기면 설명 줄에 학습한 길이 밖이라는 말이 붙습니다(6절).
1. 어텐션은 순서를 모른다
어텐션은 토큰마다 다른 토큰들과 내적으로 점수를 매기고, 점수만큼 섞어 새 벡터를 만듭니다. 이 계산 어디에도 「몇 번째」라는 숫자가 없습니다. 점수는 두 토큰의 벡터만으로 정해지기 때문입니다.
예를 들어 토큰이 「개」, 「사람」, 「문다」 셋이라고 합시다. 「개 사람 문다」와 「사람 개 문다」에서 「개」가 받는 점수와 결과는 똑같습니다. 출력은 같은 벡터들이 줄 순서만 바뀌어 나옵니다(순열 등변성, permutation equivariance). 누가 누구를 무는지가 사라집니다. 앞만 보게 가리는 인과 마스크를 쓰면 보이는 토큰이 차례에 따라 달라져 순서가 조금 드러나지만, 그래도 보통은 위치 정보를 따로 줍니다.
그래서 위치마다 벡터 PE(pos) 를 하나 만들어 임베딩(낱말 벡터)에 더합니다. 칸 수 d 가 같아야 더할 수 있습니다.
입력 벡터 = 낱말 벡터(토큰) + PE(pos) pos 는 0 부터 세는 자리 번호
낱말 벡터(토큰): 그 토큰의 임베딩.PE(pos): 자리 pos 에 하나씩 만드는 위치 벡터. 낱말 벡터와 칸 수 d 가 같습니다.pos: 0 부터 세는 자리 번호.
이제 같은 「개」라도 1 번 자리와 2 번 자리에서 입력이 달라져, 어텐션 점수에 순서가 들어갑니다. 트랜스포머 쪽 6절은 이 표를 그림으로 보이고 두 위치의 코사인 유사도를 잽니다. 이 쪽은 왜 이런 식이 되었는지와 다른 방식들을 다룹니다.
2. 식이 만들어지는 과정
「다음」을 누르면 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각), 그림에 칸이 늘어납니다. 줄 하나가 칸 하나이고, 가로로 위치 0 ~ 47 의 값을 이었습니다. 주황은 위치 0, 보라는 위치 44 입니다. 위 실험과 같은 d = 8 입니다.
- 위치 번호를 그대로:
PE(pos) = pos. 가장 쉬운 생각입니다. 하지만 위치 44 는 44 를 더합니다. 낱말 벡터의 숫자가 1 안팎이라면 뒤쪽 위치에서는 위치가 뜻을 덮어 버리고, 글이 길수록 끝없이 커집니다. 글 길이로 나눠 0 ~ 1 에 넣으면 같은 5 번 자리가 10 토큰 글에서는 0.5, 100 토큰 글에서는 0.05 가 되어 뜻이 흔들립니다. - sin 으로 감싸기:
sin(pos). 값이 늘 −1 ~ 1 에 갇힙니다. 그런데 sin 은 2π ≈ 6.28 마다 같은 값으로 돌아옵니다. 위치 0 은 0, 위치 44 는 0.02 로 거의 같습니다. 44 가 2π × 7 ≈ 43.98 에 가깝기 때문입니다. - 주파수가 다른 물결 여럿:
PE(pos, 2i) = sin(pos ÷ 10000^(2i÷d)). 짝수 칸 2i 마다 물결을 하나씩 두고, 뒤 칸일수록 pos 를 큰 수로 나눠 천천히 돌게 합니다. d = 8 이면 1, 10, 100, 1000 으로 나눕니다. 빠른 물결이 겹치는 곳을 느린 물결이 갈라 줍니다. 위치 0 과 44 는 칸 2 에서 0 과 −0.95 로 갈리고, 두 벡터의 차이가 0.02 에서 1.04 가 됩니다. 시계의 초침만 보면 몇 분인지 모르지만 분침을 같이 보면 아는 것과 같습니다. - sin 마다 cos 짝:
PE(pos, 2i+1) = cos(pos ÷ 10000^(2i÷d)). sin 바로 옆 칸에 같은 주파수의 cos 을 둡니다. 그러면 두 위치의 내적이 거리에만 달리게 됩니다(3절). sin 만 있으면 위치 0·1 의 내적은 0, 위치 10·11 은 1.31 로 같은 1 칸 거리인데 다릅니다. cos 짝을 넣으면 둘 다 3.54 입니다. 원 논문은 이 짝 덕분에 k 칸 뒤의 벡터를 지금 벡터에서 정해진 계산(선형 변환)으로 얻을 수 있어, 모델이 「몇 칸 앞」을 배우기 쉬울 것이라고 적었습니다.
해 볼 것. ① 처음 단계에서 선이 회색 띠(−1 ~ 1)를 곧바로 뚫고 올라가, 보라 점(위치 44)은 44 에 있습니다. ② 다음 단계에서 주황 점(0)과 보라 점(44)의 높이가 거의 같습니다(0 과 0.02). ③ 한 번 더 누르면 칸 2 의 줄에서 두 점이 0 과 −0.95 로 벌어집니다. 칸 4 와 칸 6 은 48 위치 안에서 거의 곧은 선입니다. 느린 물결은 아주 긴 글에서야 쓸모가 드러납니다. ④ 마지막 단계의 설명 줄에서 sin 만일 때 0 과 1.31, 짝을 넣은 뒤 3.54 를 봅니다.
3. 손으로 풀어 보기: 위치 1 과 2 의 내적
d = 8 이면 칸 짝이 넷이고, 짝 i 의 각도는 pos ÷ 10000^(2i÷8) 이라 pos 를 1, 10, 100, 1000 으로 나눕니다. 위치 1 의 여덟 칸은 트랜스포머 쪽에서 계산한 그대로이고, 위치 2 를 더해 내적을 짝마다 구합니다(소수 셋째 자리까지).
| 짝 i | 각도(위치 1 → 2) | 위치 1 (sin, cos) | 위치 2 (sin, cos) | 곱해서 더하기 |
|---|---|---|---|---|
| 0 | 1 → 2 | 0.841, 0.540 | 0.909, −0.416 | 0.765 − 0.225 = 0.540 |
| 1 | 0.1 → 0.2 | 0.100, 0.995 | 0.199, 0.980 | 0.020 + 0.975 = 0.995 |
| 2 | 0.01 → 0.02 | 0.010, 1.000 | 0.020, 1.000 | 0.000 + 1.000 = 1.000 |
| 3 | 0.001 → 0.002 | 0.001, 1.000 | 0.002, 1.000 | 0.000 + 1.000 = 1.000 |
| 합 | 3.535 ≈ 3.54 |
짝마다 나온 0.540, 0.995, 1.000, 1.000 은 cos(1), cos(0.1), cos(0.01), cos(0.001) 입니다. 삼각함수의 덧셈 정리 sin a · sin b + cos a · cos b = cos(a − b) 때문입니다. 그래서 두 위치의 내적은 cos(거리 × 주파수) 를 짝마다 더한 것이고, 위치가 어디든 거리만 같으면 같습니다. 같은 위치끼리는 cos(0) = 1 이 넷이라 4 로 가장 큽니다. 실험 ① 의 처음 값이 이 계산입니다.
4. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 값이 −1 ~ 1 | 글이 아무리 길어도 위치 숫자가 커지지 않는다 | ② 의 둘째 단계부터 |
| 위치마다 줄이 다르다 | 빠른 칸과 느린 칸이 섞여, 빠른 칸이 겹쳐도 느린 칸이 가른다 | 위치 0 과 44 |
| 내적은 거리에만 달렸다 | sin·cos 짝 덕분이다. 그러나 멀수록 늘 작아지지는 않는다 | ① 의 해 볼 것 ②, ③ |
| 학습할 것이 없다 | 식으로 계산하는 고정된 표다. 어느 위치든 계산은 된다 | 위치 32 ~ 47 도 칠해진다 |
| 더한다 | 낱말 벡터와 같은 칸에 더해져 섞인다. 칸 수는 그대로다 | 1절, 자주 묻는 것 1 |
5. 다른 방식들
- 학습된 위치 임베딩(learned positional embedding). 위치마다 벡터 한 줄을 두고 낱말 벡터처럼 학습합니다(표의 크기 = 최대 길이 × d). 쉽고, 원 논문의 시험에서 사인·코사인과 결과가 거의 같았습니다. 표에 없는 위치는 쓸 수 없습니다.
- 상대 위치. 「몇 번째」 대신 「두 토큰이 몇 칸 떨어졌나」를 어텐션 안에서 씁니다. Shaw 등은 거리마다 학습하는 벡터를 두고, 일정 거리 너머는 같은 것으로 묶었습니다. 입력에 더하지 않습니다.
- 회전 위치 임베딩(RoPE). 어텐션의 쿼리(Q)와 키(K) 벡터를 칸 짝마다
위치 × 주파수만큼 돌립니다. 주파수는 사인·코사인과 같은 꼴입니다. 두 벡터를 돌린 각도의 차이만 내적에 남아, 점수가 거리에 달리게 됩니다. - ALiBi(attention with linear biases). 위치 벡터를 쓰지 않고, 어텐션 점수에서 거리에 비례하는 값을 뺍니다. 멀수록 덜 봅니다.
회전 위치 임베딩(RoPE)을 직접 돌려 보기
칸 짝 하나(평면)만 꺼내 본 장난감입니다. 초록은 쿼리 q = (3, 1), 파랑은 키 k = (1, 2) 로 지어낸 값입니다. 흐린 점선 화살표는 돌리기 전 자리, 굵은 화살표 q′·k′ 은 돌린 뒤, 호와 숫자는 돈 각도입니다. 사이 각은 q′ 의 방향에서 k′ 의 방향을 뺀 각(시계 반대 방향이 +)입니다. 「다음」은 네 걸음을 차례로 보이고, 막대와 「둘 다 +3」으로 직접 옮길 수도 있습니다.
R(a) = [ cos a −sin a ]
[ sin a cos a ]
q′ = R(m × θ) q k′ = R(n × θ) k
q′ · k′ = |q| |k| cos(φ + (m − n) × θ)
R(a): 평면의 벡터를 각도 a 만큼 시계 반대 방향으로 돌리는 행렬(회전 행렬, rotation matrix). 길이는 바꾸지 않습니다.q,k: 돌리기 전의 쿼리·키 벡터. 여기서는 칸 둘짜리 지어낸 값 q = (3, 1), k = (1, 2).m,n: q 를 낸 토큰과 k 를 낸 토큰의 위치.θ: 주파수. 위치가 한 칸 늘 때 더 도는 각도. 여기서는 20°.q′,k′: 돌린 뒤의 벡터. 어텐션 점수는 이 둘의 내적입니다.|q|,|k|: 벡터의 길이. 여기서는 √10 ≈ 3.16, √5 ≈ 2.24. 돌려도 그대로입니다.φ: 돌리기 전의 사이 각(q 의 방향 − k 의 방향). 여기서는 18.43° − 63.43° = −45°.
q 는 m × θ, k 는 n × θ 만큼 돌았으니 사이 각은 φ + m × θ − n × θ = φ + (m − n) × θ 이고, 내적은 두 길이와 사이 각의 cos 을 곱한 값입니다. 식의 오른쪽에 위치는 m − n 으로만 들어 있습니다. 그래서 m 과 n 에 같은 수를 더해도 내적이 그대로이고, m = n 이면 돌리기 전의 내적과 같습니다. 실제로는 벡터의 칸을 둘씩 짝지어, 짝마다 사인·코사인과 같은 꼴의 다른 주파수로 이렇게 돌립니다. 이 실험은 그 짝 하나입니다.
6. 길이 외삽(length extrapolation): 학습 때보다 긴 글
모델이 위치 0 ~ 31 까지만 보며 학습했는데 위치 40 이 들어오면 어떻게 될까요? 실험 ① 의 옅게 덮은 줄이 이 경우입니다.
- 학습된 위치 임베딩은 그 줄이 아예 없습니다. 표의 줄 수가 곧 다룰 수 있는 길이의 한도입니다.
- 사인·코사인은 줄을 계산할 수는 있습니다. 원 논문도 이 점을 들어 「더 긴 글에 쓸 수 있을지 모른다」고 적었습니다. 하지만 모델은 그 줄의 무늬를 본 적이 없어, 잘 된다는 보장은 없습니다.
- 거리만 보는 방식(상대 위치, 회전 위치 임베딩, ALiBi)은 학습 때 본 거리 안에서는 같은 계산이 되풀이되어 덜 흔들립니다. ALiBi 논문은 짧게 학습하고 길게 쓰는 것을 목표로 만든 방식입니다. 그래도 학습 때 본 적 없는 먼 거리는 남습니다.
긴 글을 다루려면 결국 그 길이로 더 학습하거나, 위치를 학습한 범위 안으로 줄여 넣는 방법을 함께 씁니다.
7. 언제 무엇을 쓰나
| 방식 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 사인·코사인(고정) | 학습할 것이 없다. 어느 위치든 계산된다. 내적이 거리에만 달렸다 | 입력에 더해 뜻과 섞인다. 학습 길이 밖은 보장이 없다 | 트랜스포머를 처음 짤 때, 원 논문을 따라 할 때 |
| 학습된 위치 임베딩 | 가장 쉽다. 자료에 맞는 무늬를 스스로 배운다 | 최대 길이를 넘을 수 없다. 표만큼 파라미터가 는다 | 길이가 정해진 일(문장 분류, 정해진 크기의 그림 패치) |
| 상대 위치 | 거리를 바로 쓴다. 입력을 건드리지 않는다 | 어텐션 계산이 조금 복잡해진다 | 「얼마나 떨어졌나」가 중요한 일 |
| 회전 위치 임베딩(RoPE) | 점수가 거리에 달린다. 더할 벡터가 없다 | Q·K 를 돌리는 단계를 직접 넣어야 한다. 긴 글은 따로 손봐야 한다 | 글을 이어 쓰는 언어 모델 |
| ALiBi | 아주 단순하다. 학습보다 긴 글을 노리고 만들었다 | 먼 토큰을 늘 덜 본다 | 짧게 학습하고 길게 써야 할 때 |
어디에 쓰나
- 글을 다루는 트랜스포머. 모든 토큰의 입력이나 어텐션 점수에 위치가 들어갑니다.
- 그림을 패치(patch)로 잘라 쓰는 트랜스포머. 패치의 자리(몇째 줄, 몇째 칸)를 같은 방법으로 알려 줍니다.
- 소리와 시간 순서가 있는 자료. 어텐션을 쓰면 시간의 차례를 따로 넣어야 합니다.
- 위치 말고 다른 번호. 확산 모델이 「몇 번째 단계인가」를 신경망에 알려 줄 때도 사인·코사인 벡터를 씁니다.
자주 묻는 것
위치를 더하면 낱말의 뜻이 망가지지 않나요?
같은 칸에 더하므로 둘이 섞입니다. 모델은 섞인 벡터를 받아 학습하고, 어텐션의 가중치가 둘을 함께 쓰는 법을 배웁니다. 이어 붙이는 방법도 있지만 칸 수가 늘어 뒤의 모든 계산이 커집니다. 더하면 칸 수가 그대로입니다. 섞이는 것이 싫으면 입력에 더하지 않고 어텐션 안에서만 위치를 쓰는 상대 위치나 회전 위치 임베딩을 씁니다.
10000 은 왜 하필 10000 인가요?
가장 느린 물결이 한 바퀴 도는 데 거의 10000 × 2π ≈ 62,832 위치가 걸리게 하는 값입니다. 그만큼 긴 글까지 위치가 겹치지 않습니다. 원 논문은 파장(wavelength)이 2π 에서 10000 × 2π 까지 일정한 배율로 늘어난다고 적었고, 10000 을 고른 까닭을 따로 적지는 않았습니다. 정해진 답이 아니라 고른 값입니다.
사인·코사인과 학습된 위치 임베딩 가운데 무엇이 낫나요?
원 논문은 둘을 시험해 결과가 거의 같았다고 적었고, 학습 때보다 긴 글에도 쓸 수 있을지 모른다는 까닭으로 사인·코사인을 골랐습니다. 학습된 위치 임베딩은 학습한 길이를 넘는 위치에는 줄이 없습니다. 길이가 정해진 일이면 어느 쪽도 괜찮고, 긴 글이 중요하면 상대 위치나 회전 위치 임베딩을 먼저 봅니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 몇 번째 자리인가를 나타내는 벡터 | 위치 인코딩(positional encoding), 위치 임베딩(position embedding) |
| sin·cos 물결로 만든 고정된 표 | 사인파 위치 인코딩(sinusoidal positional encoding) |
| 위치마다 학습하는 표 | 학습된 위치 임베딩(learned positional embedding), 절대 위치(absolute position) |
| 두 토큰이 몇 칸 떨어졌나 | 상대 위치(relative position) |
| 쿼리·키 벡터를 돌리는 방식 | 회전 위치 임베딩(rotary position embedding, RoPE) |
| 거리만큼 점수 빼기 | ALiBi(attention with linear biases) |
| 차례를 섞으면 출력도 같은 차례로 섞일 뿐인 성질 | 순열 등변성(permutation equivariance) |
| 앞만 보게 가리기 | 인과 마스크(causal mask) |
| 물결이 도는 빠르기, 한 바퀴 길이 | 주파수(frequency), 파장(wavelength) |
| 학습한 길이보다 긴 글에 쓰기 | 길이 외삽(length extrapolation) |
| 칸 수 d | 모델 차원(d_model) |
출처
- Vaswani 등, Attention Is All You Need, arXiv:1706.03762. 사인·코사인 위치 인코딩 식, 물결 길이, 선형 변환 이야기, 배우는 표와의 비교, 긴 글에 대한 기대(3.5절).
- Shaw, Uszkoreit, Vaswani, Self-Attention with Relative Position Representations, arXiv:1803.02155. 상대 위치.
- Su 등, RoFormer: Enhanced Transformer with Rotary Position Embedding, arXiv:2104.09864. 회전식(RoPE).
- Press, Smith, Lewis, Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation, arXiv:2108.12409. 거리 벌점(ALiBi)과 학습 길이보다 긴 글.