위치 인코딩: 어텐션에 순서를 알려 주기

어텐션은 낱말들을 서로 비교하기만 해서, 낱말의 차례를 섞어도 결과가 같습니다. 그래서 「몇 번째 자리인가」를 숫자 벡터로 만들어 낱말 벡터에 더합니다. 위치 번호를 그대로 쓰면 왜 안 되고, 왜 도는 빠르기인 주파수(frequency)가 다른 sin·cos 물결을 여러 개 쓰는지 한 단계씩 봅니다.

한 줄 답. 위치 인코딩은 토큰마다 「몇 번째 자리인가」를 나타내는 벡터를 만들어 낱말 벡터에 더하는 일입니다. 어텐션은 순서를 모르기 때문에 필요합니다. 원 논문은 칸마다 주파수가 다른 물결을 씁니다: PE(pos, 2i) = sin(pos ÷ 10000^(2i÷d)), PE(pos, 2i+1) = cos(pos ÷ 10000^(2i÷d)). 위치마다 벡터를 학습하는 표, 거리만 보는 상대 위치, 쿼리·키(query·key) 벡터를 돌리는 회전 위치 임베딩(RoPE)도 있습니다.

격자의 줄 하나가 그 위치의 토큰에 더하는 벡터입니다. 줄을 누르면 A 와 B 가 번갈아 옮겨 가고, 숫자 칸으로도 고를 수 있습니다. 아래 막대는 두 줄의 값이고, 설명 줄의 내적은 칸마다 곱해 더한 값입니다. 작게 줄인 본보기라 칸이 8 개뿐입니다(진짜 모델은 수백 ~ 수천 칸). 위치 32 부터 옅게 덮은 줄은 이 장난감 모델이 위치 0 ~ 31 로만 학습했다고 칠 때 학습한 길이 밖입니다.

해 볼 것. ① 처음(A = 1, B = 2)의 내적은 3.54 입니다. B 를 1 로 옮겨 A 와 같게 하면 4 로 가장 큽니다. ② A = 10, B = 11 이나 A = 30, B = 31 로 옮겨도 1 칸 거리라 3.54 그대로입니다. ③ A = 0 에서 B = 3 이면 1.96 인데 B = 6 이면 3.78 로 다시 커집니다. 내적은 거리에만 달렸지만, 멀수록 늘 작아지지는 않습니다. ④ B 를 40 으로 옮기면 설명 줄에 학습한 길이 밖이라는 말이 붙습니다(6절).

1. 어텐션은 순서를 모른다

어텐션은 토큰마다 다른 토큰들과 내적으로 점수를 매기고, 점수만큼 섞어 새 벡터를 만듭니다. 이 계산 어디에도 「몇 번째」라는 숫자가 없습니다. 점수는 두 토큰의 벡터만으로 정해지기 때문입니다.

예를 들어 토큰이 「개」, 「사람」, 「문다」 셋이라고 합시다. 「개 사람 문다」와 「사람 개 문다」에서 「개」가 받는 점수와 결과는 똑같습니다. 출력은 같은 벡터들이 줄 순서만 바뀌어 나옵니다(순열 등변성, permutation equivariance). 누가 누구를 무는지가 사라집니다. 앞만 보게 가리는 인과 마스크를 쓰면 보이는 토큰이 차례에 따라 달라져 순서가 조금 드러나지만, 그래도 보통은 위치 정보를 따로 줍니다.

그래서 위치마다 벡터 PE(pos) 를 하나 만들어 임베딩(낱말 벡터)에 더합니다. 칸 수 d 가 같아야 더할 수 있습니다.

입력 벡터 = 낱말 벡터(토큰) + PE(pos)       pos 는 0 부터 세는 자리 번호

이제 같은 「개」라도 1 번 자리와 2 번 자리에서 입력이 달라져, 어텐션 점수에 순서가 들어갑니다. 트랜스포머 쪽 6절은 이 표를 그림으로 보이고 두 위치의 코사인 유사도를 잽니다. 이 쪽은 왜 이런 식이 되었는지와 다른 방식들을 다룹니다.

2. 식이 만들어지는 과정

「다음」을 누르면 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각), 그림에 칸이 늘어납니다. 줄 하나가 칸 하나이고, 가로로 위치 0 ~ 47 의 값을 이었습니다. 주황은 위치 0, 보라는 위치 44 입니다. 위 실험과 같은 d = 8 입니다.

  1. 위치 번호를 그대로: PE(pos) = pos. 가장 쉬운 생각입니다. 하지만 위치 44 는 44 를 더합니다. 낱말 벡터의 숫자가 1 안팎이라면 뒤쪽 위치에서는 위치가 뜻을 덮어 버리고, 글이 길수록 끝없이 커집니다. 글 길이로 나눠 0 ~ 1 에 넣으면 같은 5 번 자리가 10 토큰 글에서는 0.5, 100 토큰 글에서는 0.05 가 되어 뜻이 흔들립니다.
  2. sin 으로 감싸기: sin(pos). 값이 늘 −1 ~ 1 에 갇힙니다. 그런데 sin 은 2π ≈ 6.28 마다 같은 값으로 돌아옵니다. 위치 0 은 0, 위치 44 는 0.02 로 거의 같습니다. 44 가 2π × 7 ≈ 43.98 에 가깝기 때문입니다.
  3. 주파수가 다른 물결 여럿: PE(pos, 2i) = sin(pos ÷ 10000^(2i÷d)). 짝수 칸 2i 마다 물결을 하나씩 두고, 뒤 칸일수록 pos 를 큰 수로 나눠 천천히 돌게 합니다. d = 8 이면 1, 10, 100, 1000 으로 나눕니다. 빠른 물결이 겹치는 곳을 느린 물결이 갈라 줍니다. 위치 0 과 44 는 칸 2 에서 0 과 −0.95 로 갈리고, 두 벡터의 차이가 0.02 에서 1.04 가 됩니다. 시계의 초침만 보면 몇 분인지 모르지만 분침을 같이 보면 아는 것과 같습니다.
  4. sin 마다 cos 짝: PE(pos, 2i+1) = cos(pos ÷ 10000^(2i÷d)). sin 바로 옆 칸에 같은 주파수의 cos 을 둡니다. 그러면 두 위치의 내적이 거리에만 달리게 됩니다(3절). sin 만 있으면 위치 0·1 의 내적은 0, 위치 10·11 은 1.31 로 같은 1 칸 거리인데 다릅니다. cos 짝을 넣으면 둘 다 3.54 입니다. 원 논문은 이 짝 덕분에 k 칸 뒤의 벡터를 지금 벡터에서 정해진 계산(선형 변환)으로 얻을 수 있어, 모델이 「몇 칸 앞」을 배우기 쉬울 것이라고 적었습니다.

해 볼 것. ① 처음 단계에서 선이 회색 띠(−1 ~ 1)를 곧바로 뚫고 올라가, 보라 점(위치 44)은 44 에 있습니다. ② 다음 단계에서 주황 점(0)과 보라 점(44)의 높이가 거의 같습니다(0 과 0.02). ③ 한 번 더 누르면 칸 2 의 줄에서 두 점이 0 과 −0.95 로 벌어집니다. 칸 4 와 칸 6 은 48 위치 안에서 거의 곧은 선입니다. 느린 물결은 아주 긴 글에서야 쓸모가 드러납니다. ④ 마지막 단계의 설명 줄에서 sin 만일 때 0 과 1.31, 짝을 넣은 뒤 3.54 를 봅니다.

3. 손으로 풀어 보기: 위치 1 과 2 의 내적

d = 8 이면 칸 짝이 넷이고, 짝 i 의 각도는 pos ÷ 10000^(2i÷8) 이라 pos 를 1, 10, 100, 1000 으로 나눕니다. 위치 1 의 여덟 칸은 트랜스포머 쪽에서 계산한 그대로이고, 위치 2 를 더해 내적을 짝마다 구합니다(소수 셋째 자리까지).

짝 i각도(위치 1 → 2)위치 1 (sin, cos)위치 2 (sin, cos)곱해서 더하기
01 → 20.841, 0.5400.909, −0.4160.765 − 0.225 = 0.540
10.1 → 0.20.100, 0.9950.199, 0.9800.020 + 0.975 = 0.995
20.01 → 0.020.010, 1.0000.020, 1.0000.000 + 1.000 = 1.000
30.001 → 0.0020.001, 1.0000.002, 1.0000.000 + 1.000 = 1.000
합3.535 ≈ 3.54

짝마다 나온 0.540, 0.995, 1.000, 1.000 은 cos(1), cos(0.1), cos(0.01), cos(0.001) 입니다. 삼각함수의 덧셈 정리 sin a · sin b + cos a · cos b = cos(a − b) 때문입니다. 그래서 두 위치의 내적은 cos(거리 × 주파수) 를 짝마다 더한 것이고, 위치가 어디든 거리만 같으면 같습니다. 같은 위치끼리는 cos(0) = 1 이 넷이라 4 로 가장 큽니다. 실험 ① 의 처음 값이 이 계산입니다.

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
값이 −1 ~ 1글이 아무리 길어도 위치 숫자가 커지지 않는다② 의 둘째 단계부터
위치마다 줄이 다르다빠른 칸과 느린 칸이 섞여, 빠른 칸이 겹쳐도 느린 칸이 가른다위치 0 과 44
내적은 거리에만 달렸다sin·cos 짝 덕분이다. 그러나 멀수록 늘 작아지지는 않는다① 의 해 볼 것 ②, ③
학습할 것이 없다식으로 계산하는 고정된 표다. 어느 위치든 계산은 된다위치 32 ~ 47 도 칠해진다
더한다낱말 벡터와 같은 칸에 더해져 섞인다. 칸 수는 그대로다1절, 자주 묻는 것 1

5. 다른 방식들

회전 위치 임베딩(RoPE)을 직접 돌려 보기

주파수 θ = 20°(고정)

칸 짝 하나(평면)만 꺼내 본 장난감입니다. 초록은 쿼리 q = (3, 1), 파랑은 키 k = (1, 2) 로 지어낸 값입니다. 흐린 점선 화살표는 돌리기 전 자리, 굵은 화살표 q′·k′ 은 돌린 뒤, 호와 숫자는 돈 각도입니다. 사이 각은 q′ 의 방향에서 k′ 의 방향을 뺀 각(시계 반대 방향이 +)입니다. 「다음」은 네 걸음을 차례로 보이고, 막대와 「둘 다 +3」으로 직접 옮길 수도 있습니다.

R(a) = [ cos a   −sin a ]
       [ sin a    cos a ]
q′ = R(m × θ) q          k′ = R(n × θ) k
q′ · k′ = |q| |k| cos(φ + (m − n) × θ)

q 는 m × θ, k 는 n × θ 만큼 돌았으니 사이 각은 φ + m × θ − n × θ = φ + (m − n) × θ 이고, 내적은 두 길이와 사이 각의 cos 을 곱한 값입니다. 식의 오른쪽에 위치는 m − n 으로만 들어 있습니다. 그래서 m 과 n 에 같은 수를 더해도 내적이 그대로이고, m = n 이면 돌리기 전의 내적과 같습니다. 실제로는 벡터의 칸을 둘씩 짝지어, 짝마다 사인·코사인과 같은 꼴의 다른 주파수로 이렇게 돌립니다. 이 실험은 그 짝 하나입니다.

6. 길이 외삽(length extrapolation): 학습 때보다 긴 글

모델이 위치 0 ~ 31 까지만 보며 학습했는데 위치 40 이 들어오면 어떻게 될까요? 실험 ① 의 옅게 덮은 줄이 이 경우입니다.

긴 글을 다루려면 결국 그 길이로 더 학습하거나, 위치를 학습한 범위 안으로 줄여 넣는 방법을 함께 씁니다.

7. 언제 무엇을 쓰나

방식좋은 점나쁜 점쓰는 경우
사인·코사인(고정)학습할 것이 없다. 어느 위치든 계산된다. 내적이 거리에만 달렸다입력에 더해 뜻과 섞인다. 학습 길이 밖은 보장이 없다트랜스포머를 처음 짤 때, 원 논문을 따라 할 때
학습된 위치 임베딩가장 쉽다. 자료에 맞는 무늬를 스스로 배운다최대 길이를 넘을 수 없다. 표만큼 파라미터가 는다길이가 정해진 일(문장 분류, 정해진 크기의 그림 패치)
상대 위치거리를 바로 쓴다. 입력을 건드리지 않는다어텐션 계산이 조금 복잡해진다「얼마나 떨어졌나」가 중요한 일
회전 위치 임베딩(RoPE)점수가 거리에 달린다. 더할 벡터가 없다Q·K 를 돌리는 단계를 직접 넣어야 한다. 긴 글은 따로 손봐야 한다글을 이어 쓰는 언어 모델
ALiBi아주 단순하다. 학습보다 긴 글을 노리고 만들었다먼 토큰을 늘 덜 본다짧게 학습하고 길게 써야 할 때

어디에 쓰나

자주 묻는 것

위치를 더하면 낱말의 뜻이 망가지지 않나요?

같은 칸에 더하므로 둘이 섞입니다. 모델은 섞인 벡터를 받아 학습하고, 어텐션의 가중치가 둘을 함께 쓰는 법을 배웁니다. 이어 붙이는 방법도 있지만 칸 수가 늘어 뒤의 모든 계산이 커집니다. 더하면 칸 수가 그대로입니다. 섞이는 것이 싫으면 입력에 더하지 않고 어텐션 안에서만 위치를 쓰는 상대 위치나 회전 위치 임베딩을 씁니다.

10000 은 왜 하필 10000 인가요?

가장 느린 물결이 한 바퀴 도는 데 거의 10000 × 2π ≈ 62,832 위치가 걸리게 하는 값입니다. 그만큼 긴 글까지 위치가 겹치지 않습니다. 원 논문은 파장(wavelength)이 2π 에서 10000 × 2π 까지 일정한 배율로 늘어난다고 적었고, 10000 을 고른 까닭을 따로 적지는 않았습니다. 정해진 답이 아니라 고른 값입니다.

사인·코사인과 학습된 위치 임베딩 가운데 무엇이 낫나요?

원 논문은 둘을 시험해 결과가 거의 같았다고 적었고, 학습 때보다 긴 글에도 쓸 수 있을지 모른다는 까닭으로 사인·코사인을 골랐습니다. 학습된 위치 임베딩은 학습한 길이를 넘는 위치에는 줄이 없습니다. 길이가 정해진 일이면 어느 쪽도 괜찮고, 긴 글이 중요하면 상대 위치나 회전 위치 임베딩을 먼저 봅니다.

낱말

여기서 쓴 말책에서 부르는 말
몇 번째 자리인가를 나타내는 벡터위치 인코딩(positional encoding), 위치 임베딩(position embedding)
sin·cos 물결로 만든 고정된 표사인파 위치 인코딩(sinusoidal positional encoding)
위치마다 학습하는 표학습된 위치 임베딩(learned positional embedding), 절대 위치(absolute position)
두 토큰이 몇 칸 떨어졌나상대 위치(relative position)
쿼리·키 벡터를 돌리는 방식회전 위치 임베딩(rotary position embedding, RoPE)
거리만큼 점수 빼기ALiBi(attention with linear biases)
차례를 섞으면 출력도 같은 차례로 섞일 뿐인 성질순열 등변성(permutation equivariance)
앞만 보게 가리기인과 마스크(causal mask)
물결이 도는 빠르기, 한 바퀴 길이주파수(frequency), 파장(wavelength)
학습한 길이보다 긴 글에 쓰기길이 외삽(length extrapolation)
칸 수 d모델 차원(d_model)

출처

← 비디오 분류: 시간 축을 더한 합성곱비전 트랜스포머(ViT) →