인코더와 디코더: 트랜스포머의 세 갈래
같은 트랜스포머 블록으로 모델을 세 가지 꼴로 쌓습니다. 다른 점은 어텐션이 누구를 볼 수 있느냐와, 무엇을 내느냐입니다. 「누가 누구를 보나」 표로 세 갈래를 비교하고, 번역 한 문장을 한 걸음씩 따라갑니다.
한 줄 답. 트랜스포머 블록을 쌓는 방식은 셋입니다. 글 전체를 양쪽으로 읽기만 하는 인코더, 앞만 보며 한 토큰씩 쓰는 디코더, 인코더가 읽은 것을 디코더가 보며 쓰는 인코더·디코더입니다.
1. 세 갈래
트랜스포머 이전의 번역 모델은 순환 신경망이나 합성곱 신경망을 인코더·디코더 꼴로 썼습니다. 원문을 읽는 부분(인코더)과 번역을 쓰는 부분(디코더)을 따로 두는 꼴입니다. 가장 좋은 모델들은 인코더와 디코더를 어텐션으로 이었습니다. 트랜스포머는 순환과 합성곱을 모두 빼고 어텐션만으로 이 꼴을 만들었습니다(Vaswani 등). 순환 신경망으로 만든 인코더·디코더는 RNN 과 LSTM 7절에 있습니다.
그 뒤로 이 두 부분을 떼어 하나만 쓰는 꼴도 생겨, 지금은 세 갈래가 있습니다.
- 인코더만. 글 전체를 받아 토큰마다 벡터를 냅니다. 셀프 어텐션이 앞뒤를 모두 봅니다. 글을 쓰지는 않습니다.
- 디코더만. 앞만 보게 가린 셀프 어텐션(마스크드 셀프 어텐션, masked self-attention)으로 다음 토큰 하나의 확률을 내고, 하나를 골라 붙이기를 되풀이합니다. 글을 만들어 내는 LLM 의 꼴입니다(트랜스포머와 LLM).
- 인코더·디코더. 인코더가 원문을 읽고, 디코더가 그 결과를 크로스 어텐션(cross-attention)으로 보며 결과 글을 한 토큰씩 씁니다. 원 논문의 트랜스포머가 이 꼴입니다.
블록 안을 보면 차이가 보입니다. 인코더 블록은 「셀프 어텐션 → 피드포워드 층(feed-forward layer, 작은 신경망)」 둘입니다. 디코더 블록은 「마스크드 셀프 어텐션 → 크로스 어텐션 → 피드포워드 층」 셋입니다. 디코더만 쓰는 갈래는 볼 인코더가 없으니 크로스 어텐션이 빠지고 둘만 남습니다.
전체 구조 지도
위 그림은 블록의 큰 부분만 그렸습니다. 아래 지도는 원 논문의 그림 1 과 같은 구성으로, 토큰이 들어가서 다음 토큰의 확률이 나올 때까지를 한 장에 그립니다. 상자를 누르면 그 부분을 자세히 다루는 쪽으로 갑니다. 그림 아래 표는 상자 이름을 원 논문 그림의 영어 이름과 잇습니다.
| 그림의 상자 / 원 논문 그림의 이름 | 하는 일 | 자세히 |
|---|---|---|
| 입력 임베딩, 출력 임베딩 / Input Embedding, Output Embedding | 토큰 번호마다 임베딩 행렬에서 벡터 한 줄을 꺼낸다 | 임베딩 2절. 토큰은 토큰화 |
| 위치 인코딩 / Positional Encoding | 어텐션은 순서를 모르니, 자리의 정보를 임베딩에 더해(⊕) 순서를 알려 준다 | 위치 인코딩 |
| 멀티 헤드 어텐션 / Multi-Head Attention | 토큰마다 다른 토큰들에서 필요한 정보를 골라 섞어 온다. 헤드 여럿이 서로 다른 관계를 본다. 디코더 가운데 것은 쿼리(query)를 디코더에서, 키(key)와 밸류(value)를 인코더의 결과에서 가져온다(크로스 어텐션) | 어텐션 10절, 9절 |
| 마스크드 멀티 헤드 어텐션 / Masked Multi-Head Attention | 뒤 토큰의 점수를 −∞ 로 바꿔 자기와 앞만 보게 한다 | 어텐션 8절, 이 쪽 2절 |
| 더하고 정규화 / Add & Norm | 하위 층의 결과를 들어온 값에 더하고(잔차 연결), 줄마다 평균 0, 크기 1 로 맞춘다(레이어 정규화) | 잔차 연결 7절, 배치·레이어 정규화 6절 |
| 피드포워드 층 / Feed Forward | 토큰마다 따로, 섞어 온 정보를 토큰 안에서 가공한다 | 신경망, 트랜스포머 3절 |
| 선형 층 / Linear | 마지막 블록의 결과로 어휘의 모든 토큰에 점수를 매긴다 | 트랜스포머와 LLM 실험 ⑧ |
| 소프트맥스 → 출력 확률 / Softmax → Output Probabilities | 점수를 0 과 1 사이, 모두 더하면 1 인 확률로 바꾼다. 그 확률을 보고 다음 토큰 하나를 고른다. 학습 때는 정답 토큰에 준 확률의 −log 가 손실이다 | 샘플링 2절, 7절, 교차 엔트로피 9절, 실험 ⑨ ⑩ |
2. 누가 누구를 보나: 어텐션 마스크
세 갈래의 차이는 어텐션이 누구를 볼 수 있느냐로 줄일 수 있습니다. 이것을 표로 그린 것이 어텐션 마스크입니다. 줄은 보는 토큰, 칸은 보이는 토큰입니다. 볼 수 없는 칸은 점수를 −∞ 로 바꿔 소프트맥스 뒤의 비율이 0 이 되게 합니다(어텐션 8절).
- 인코더의 셀프 어텐션. 원문이 처음부터 다 있으니 모든 칸이 열립니다.
- 디코더의 마스크드 셀프 어텐션. 자기와 앞만 봅니다. 아래 삼각형만 열립니다(인과 마스크).
- 크로스 어텐션. 디코더 토큰 × 원문 토큰의 표입니다. 디코더는 자기 쪽에서는 앞만 보지만, 원문은 다 주어져 있으니 원문 쪽 칸은 모두 열립니다. 쿼리가 한 글에서, 키와 밸류가 다른 글에서 나오는 어텐션입니다(어텐션 9절).
줄은 보는 토큰, 칸은 보이는 토큰입니다. 초록 ✓ 는 볼 수 있는 칸, 회색 · 는 가린 칸입니다. 토큰은 3절의 번역 예와 같습니다. 디코더의 입력은 시작 토큰 「<시작>」 뒤에 번역을 붙인 것입니다.
해 볼 것. ① 「인코더만」을 누르면 디코더 기둥이 흐려지고 표는 4 × 4 하나입니다. 16칸이 모두 열려 있습니다. ② 「디코더만」을 누르면 5 × 5 표에서 15칸만 열립니다. 「<시작>」 줄은 자기 하나만 보고, 마지막 「.」 줄은 다섯을 모두 봅니다. ③ 「둘 다」에서는 표가 셋입니다. 크로스 어텐션 표는 5 × 4 = 20칸이 모두 열립니다. 디코더의 「<시작>」 도 원문의 「.」 까지 다 봅니다.
3. 한 걸음씩: 인코더·디코더로 번역하기
원문 「I drink milk .」 를 「나는 우유를 마신다 .」 로 옮깁니다. 인코더는 원문을 처음에 한 번 읽습니다. 디코더는 토큰 하나를 낼 때마다 세 가지를 합니다: 마스크드 셀프 어텐션으로 지금까지 쓴 것을 보고 → 크로스 어텐션으로 원문 어디를 볼지 정하고 → 토큰 하나를 냅니다. 낸 토큰은 디코더 입력 끝에 붙어 다음 토큰의 계산에 들어갑니다.
두 어텐션의 비율은 같은 식으로 셉니다.
비율 = softmax(q · k ÷ √d)
q: 쿼리. 지금 자리(디코더의 마지막 입력 토큰)가 「무엇을 찾나」를 나타내는 벡터.k: 키. 보이는 토큰마다 「나는 이런 것」을 나타내는 벡터. 셀프 어텐션은 디코더 입력에서, 크로스 어텐션은 인코더의 결과(원문)에서 나옵니다.q · k: 두 벡터의 내적. 클수록 잘 맞습니다.d: 벡터의 차원. 이 장난감은 4 라서 √d = 2 로 나눕니다.softmax: 점수들을 0 과 1 사이, 모두 더하면 1 인 비율로 바꿉니다. 가린 칸은 점수가 −∞ 라 비율이 0 입니다.
이 비율대로 보이는 토큰들의 밸류(v)를 섞어 가져옵니다. 계산은 어텐션과 같고, q 와 k 를 어디서 가져오느냐만 다릅니다.
초록 칸: 인코더가 읽은 원문. 주황 테두리: 디코더의 지금 자리. 점선 칸: 아직 쓰지 않은 자리. 초록 굽은 화살표: 마스크드 셀프 어텐션. 파랑 화살표: 크로스 어텐션(굵을수록 비율이 크다). 주황 화살표: 낸 토큰이 입력 끝에 붙는 길. 칸 아래 숫자가 그 토큰에 준 비율입니다.
작게 줄인 본보기. 원문 토큰 4개, 디코더 입력 5개, 차원 4, 블록 한 겹, 헤드 하나입니다. 쿼리와 키는 지어낸 수이고, 비율은 그 수로 실제로 계산한 값입니다. 크로스 어텐션의 쿼리는 다음에 옮길 원문 낱말 쪽을 가리키게 일부러 지었습니다. 진짜 모델은 이 수를 학습으로 얻습니다. 내는 토큰은 정해 둔 번역에서 꺼냅니다. 진짜 모델은 블록을 지난 값으로 어휘 전체의 확률을 계산해 고릅니다(트랜스포머와 LLM의 실험 ①).
해 볼 것. 걸음은 모두 16개입니다(인코더 1 + 토큰 5개 × 3). ① 걸음 2 의 마스크드 셀프 어텐션에서 「<시작>」 은 볼 토큰이 자기뿐이라 비율 1.00 입니다. ② 걸음 3 의 크로스 어텐션은 「I」 를 0.49 로 가장 많이 보고, 걸음 4 에서 「나는」 을 냅니다. ③ 원문과 순서가 다른 곳: 걸음 6 은 「milk」 를 0.46 으로 보고 「우유를」 을, 걸음 9 는 「drink」 를 0.45 로 보고 「마신다」 를 냅니다. 크로스 어텐션은 원문을 순서대로 읽지 않고 필요한 자리를 봅니다. ④ 걸음 14 의 셀프 어텐션은 입력 다섯을 0.22, 0.16, 0.17, 0.25, 0.19 로 봅니다. ⑤ 걸음 15 에서 끝 토큰을 낼 때는 크로스 어텐션이 0.23, 0.23, 0.24, 0.30 으로 퍼집니다.
학습 때는 한 토큰씩 돌지 않습니다. 정답 번역을 디코더 입력으로 통째로 넣고, 마스크드 셀프 어텐션 덕분에 모든 자리의 다음 토큰을 한 번에 맞힙니다(LLM 학습 4절). 한 토큰씩 도는 것은 다 배운 뒤 번역을 쓸 때입니다.
4. 세 갈래 비교하기
| 갈래 | 무엇을 보나 | 무엇을 내나 | 학습 과제 | 어디에 쓰나 |
|---|---|---|---|---|
| 인코더만 | 글 전체를 양쪽으로(앞뒤 모두) | 토큰마다 벡터. 문장 전체를 본 표현 | 가린 낱말 맞히기 | 분류(감정·주제 나누기, 글에서 이름 찾기), 찾기용 벡터(임베딩 모델) |
| 디코더만 | 앞쪽만(인과 마스크) | 다음 토큰의 확률. 하나씩 붙여 글을 쓴다 | 다음 토큰 맞히기 | 대화, 글쓰기, 코드 이어 쓰기. 할 일을 프롬프트에 적어 번역·요약도 한다 |
| 인코더·디코더 | 원문은 양쪽, 번역은 앞쪽만. 크로스 어텐션으로 원문 전체 | 원문을 본 채로 결과 글의 다음 토큰 확률 | 원문을 본 채로 다음 토큰 맞히기 | 번역처럼 받은 글을 다른 글로 바꾸는 일(글 → 글) |
인코더만. BERT 논문은 표시 없는 글로 사전 학습하면서 모든 층에서 왼쪽과 오른쪽 문맥을 함께 보게 했고, 다 배운 모델에 출력층 하나만 더해 미세 조정할 수 있다고 적었습니다. 가린 낱말 맞히기와 그 장단점은 LLM 학습 7절에 있습니다.
디코더만. 질문과 지금까지 쓴 답을 한 줄로 이어 놓고 다음 토큰을 맞힙니다. 원문이 따로 없으니 크로스 어텐션이 빠집니다(트랜스포머 1절).
인코더·디코더. T5 논문은 글로 된 모든 문제를 「글을 받아 글을 낸다」 꼴(text-to-text)로 바꾸는 하나의 틀을 내놓았습니다. 받은 글과 낼 글이 따로 있는 꼴이라, 받은 글은 인코더가 읽고 낼 글은 디코더가 쓰는 갈래와 모양이 맞습니다.
자주 묻는 것
인코더만 쓰는 모델은 왜 글을 이어 쓰지 못하나요?
앞뒤를 모두 보는 셀프 어텐션으로 가린 낱말 맞히기를 배웠기 때문입니다. 왼쪽부터 한 토큰씩 다음을 맞히는 연습을 하지 않았습니다. 대신 문장 전체를 본 벡터를 내므로 분류와 찾기에 씁니다.
디코더만 쓰는 모델은 원문이 없는데 번역을 어떻게 하나요?
원문과 할 일을 프롬프트에 적고, 그 뒤에 번역을 이어 씁니다. 원문도 같은 줄의 앞쪽 토큰이 되어 마스크드 셀프 어텐션으로 보입니다. 따로 읽는 인코더와 크로스 어텐션이 없을 뿐입니다.
크로스 어텐션과 셀프 어텐션은 무엇이 다른가요?
계산은 같고 재료가 다릅니다. 셀프 어텐션은 쿼리, 키, 밸류가 모두 같은 글에서 나옵니다. 크로스 어텐션은 쿼리가 디코더에서, 키와 밸류가 인코더의 결과(원문)에서 나옵니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 읽는 부분 / 쓰는 부분 | 인코더(encoder) / 디코더(decoder) |
| 인코더·디코더 | encoder-decoder |
| 인코더만 / 디코더만 쓰는 모델 | encoder-only model / decoder-only model |
| 같은 글 안의 어텐션 | 셀프 어텐션(self-attention) |
| 앞만 보게 가린 셀프 어텐션 | 마스크드 셀프 어텐션(masked self-attention), 인과 마스크(causal mask) |
| 디코더가 원문을 보는 어텐션 | 크로스 어텐션(cross-attention) |
| 누가 누구를 보나 표 | 어텐션 마스크(attention mask) |
| 앞뒤를 모두 봄 | 양방향(bidirectional) |
| 쿼리, 키, 밸류 | query, key, value (q, k, v) |
| 작은 신경망 | 피드포워드 네트워크(feed-forward network), MLP |
| 가린 낱말 맞히기 / 다음 토큰 맞히기 | masked language modeling / next-token prediction |
| 글을 받아 글을 내는 꼴 | text-to-text |
| 헤드 여럿으로 하는 어텐션 | 멀티 헤드 어텐션(multi-head attention) |
| 블록 안의 한 부분(어텐션, 피드포워드 층) | 하위 층(sublayer) |
| 더하고 정규화 | Add & Norm(잔차 연결 + 레이어 정규화) |
| 건너뛰는 길 | 잔차 연결(residual connection) |
| 블록을 N 겹 쌓음 | × N, N× |
| 한 칸 밀린 출력 | outputs (shifted right) |
출처
- Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin (2017). Attention Is All You Need. 앞선 모델들의 인코더·디코더 꼴, 인코더와 디코더를 어텐션으로 이은 것, 순환과 합성곱을 뺀 트랜스포머.
- Devlin 등 (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 모든 층에서 왼쪽과 오른쪽 문맥을 함께 보는 사전 학습, 출력층 하나를 더한 미세 조정.
- Raffel 등 (2019). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5). 모든 글 문제를 text-to-text 꼴로 바꾸는 틀.