인코더와 디코더: 트랜스포머의 세 갈래

같은 트랜스포머 블록으로 모델을 세 가지 꼴로 쌓습니다. 다른 점은 어텐션이 누구를 볼 수 있느냐와, 무엇을 내느냐입니다. 「누가 누구를 보나」 표로 세 갈래를 비교하고, 번역 한 문장을 한 걸음씩 따라갑니다.

한 줄 답. 트랜스포머 블록을 쌓는 방식은 셋입니다. 글 전체를 양쪽으로 읽기만 하는 인코더, 앞만 보며 한 토큰씩 쓰는 디코더, 인코더가 읽은 것을 디코더가 보며 쓰는 인코더·디코더입니다.

1. 세 갈래

트랜스포머 이전의 번역 모델은 순환 신경망이나 합성곱 신경망을 인코더·디코더 꼴로 썼습니다. 원문을 읽는 부분(인코더)과 번역을 쓰는 부분(디코더)을 따로 두는 꼴입니다. 가장 좋은 모델들은 인코더와 디코더를 어텐션으로 이었습니다. 트랜스포머는 순환과 합성곱을 모두 빼고 어텐션만으로 이 꼴을 만들었습니다(Vaswani 등). 순환 신경망으로 만든 인코더·디코더는 RNN 과 LSTM 7절에 있습니다.

그 뒤로 이 두 부분을 떼어 하나만 쓰는 꼴도 생겨, 지금은 세 갈래가 있습니다.

블록 안을 보면 차이가 보입니다. 인코더 블록은 「셀프 어텐션 → 피드포워드 층(feed-forward layer, 작은 신경망)」 둘입니다. 디코더 블록은 「마스크드 셀프 어텐션 → 크로스 어텐션 → 피드포워드 층」 셋입니다. 디코더만 쓰는 갈래는 볼 인코더가 없으니 크로스 어텐션이 빠지고 둘만 남습니다.

인코더 원문을 읽는다 디코더 번역을 쓴다 다음 토큰의 확률 피드포워드 층 크로스 어텐션 마스크드 셀프 어텐션 피드포워드 층 크로스 어텐션 마스크드 셀프 어텐션 지금까지 쓴 번역 앞만 본다 피드포워드 층 셀프 어텐션 피드포워드 층 셀프 어텐션 원문 토큰 앞뒤 모두 본다 인코더 맨 위의 결과
인코더·디코더. 왼쪽 인코더는 원문 토큰을 받아 블록(셀프 어텐션 → 피드포워드 층)을 여러 겹 지납니다. 오른쪽 디코더의 블록에는 부분이 셋입니다: 마스크드 셀프 어텐션 → 크로스 어텐션 → 피드포워드 층. 파랑 화살표가 크로스 어텐션의 길입니다. 인코더 맨 위의 결과가 디코더의 모든 블록으로 갑니다. 그림은 블록 두 겹이고, 부분마다 뒤에 붙는 「더하고 정규화」(트랜스포머 3절)는 뺐습니다. 아래 지도에는 넣었습니다.

전체 구조 지도

위 그림은 블록의 큰 부분만 그렸습니다. 아래 지도는 원 논문의 그림 1 과 같은 구성으로, 토큰이 들어가서 다음 토큰의 확률이 나올 때까지를 한 장에 그립니다. 상자를 누르면 그 부분을 자세히 다루는 쪽으로 갑니다. 그림 아래 표는 상자 이름을 원 논문 그림의 영어 이름과 잇습니다.

인코더 디코더 × N × N 인코더의 결과 입력원문 토큰 입력 임베딩 위치인코딩 멀티 헤드 어텐션앞뒤 모두 봄 더하고 정규화 피드포워드 층(작은 신경망) 더하고 정규화 출력(한 칸 밀린 것) 출력 임베딩 위치인코딩 마스크드 멀티 헤드 어텐션앞만 봄 더하고 정규화 멀티 헤드 어텐션인코더의 결과를 봄 더하고 정규화 피드포워드 층(작은 신경망) 더하고 정규화 선형 층 소프트맥스 출력 확률
전체 구조 지도. 원 논문의 그림 1 과 같은 구성을 새로 그렸습니다. 아래에서 위로 읽습니다. 왼쪽 인코더는 원문 토큰을 임베딩하고 위치 인코딩을 더한 뒤, 블록(멀티 헤드 어텐션 → 더하고 정규화 → 피드포워드 층 → 더하고 정규화)을 N 겹 지납니다. 오른쪽 디코더는 「<시작>」 뒤에 지금까지 쓴 번역을 받습니다. 낼 글보다 한 칸 밀려 있어서 「한 칸 밀린 것」입니다. 디코더 블록에는 하위 층이 셋이고, 가운데 어텐션이 파랑 화살표를 따라 인코더 맨 위의 결과를 봅니다(크로스 어텐션). 이 결과는 디코더의 N 겹 모두로 갑니다. 블록을 다 지나면 선형 층이 어휘의 모든 토큰에 점수를 매기고, 소프트맥스가 점수를 확률로 바꿉니다. 점선 화살표는 잔차 연결(잔차 연결)입니다. 하위 층에 들어가기 전의 값이 옆으로 돌아가 「더하고 정규화」에서 결과에 더해집니다. 층 수 같은 숫자는 적지 않았습니다. 상자를 누르면 그 내용을 다루는 쪽으로 갑니다.
그림의 상자 / 원 논문 그림의 이름하는 일자세히
입력 임베딩, 출력 임베딩 / Input Embedding, Output Embedding토큰 번호마다 임베딩 행렬에서 벡터 한 줄을 꺼낸다임베딩 2절. 토큰은 토큰화
위치 인코딩 / Positional Encoding어텐션은 순서를 모르니, 자리의 정보를 임베딩에 더해(⊕) 순서를 알려 준다위치 인코딩
멀티 헤드 어텐션 / Multi-Head Attention토큰마다 다른 토큰들에서 필요한 정보를 골라 섞어 온다. 헤드 여럿이 서로 다른 관계를 본다. 디코더 가운데 것은 쿼리(query)를 디코더에서, 키(key)와 밸류(value)를 인코더의 결과에서 가져온다(크로스 어텐션)어텐션 10절, 9절
마스크드 멀티 헤드 어텐션 / Masked Multi-Head Attention뒤 토큰의 점수를 −∞ 로 바꿔 자기와 앞만 보게 한다어텐션 8절, 이 쪽 2절
더하고 정규화 / Add & Norm하위 층의 결과를 들어온 값에 더하고(잔차 연결), 줄마다 평균 0, 크기 1 로 맞춘다(레이어 정규화)잔차 연결 7절, 배치·레이어 정규화 6절
피드포워드 층 / Feed Forward토큰마다 따로, 섞어 온 정보를 토큰 안에서 가공한다신경망, 트랜스포머 3절
선형 층 / Linear마지막 블록의 결과로 어휘의 모든 토큰에 점수를 매긴다트랜스포머와 LLM 실험 ⑧
소프트맥스 → 출력 확률 / Softmax → Output Probabilities점수를 0 과 1 사이, 모두 더하면 1 인 확률로 바꾼다. 그 확률을 보고 다음 토큰 하나를 고른다. 학습 때는 정답 토큰에 준 확률의 −log 가 손실이다샘플링 2절, 7절, 교차 엔트로피 9절, 실험 ⑨ ⑩

2. 누가 누구를 보나: 어텐션 마스크

세 갈래의 차이는 어텐션이 누구를 볼 수 있느냐로 줄일 수 있습니다. 이것을 표로 그린 것이 어텐션 마스크입니다. 줄은 보는 토큰, 칸은 보이는 토큰입니다. 볼 수 없는 칸은 점수를 −∞ 로 바꿔 소프트맥스 뒤의 비율이 0 이 되게 합니다(어텐션 8절).

토큰마다 벡터 인코더 원문 다음 토큰 디코더 지금까지의 글 크로스

줄은 보는 토큰, 칸은 보이는 토큰입니다. 초록 ✓ 는 볼 수 있는 칸, 회색 · 는 가린 칸입니다. 토큰은 3절의 번역 예와 같습니다. 디코더의 입력은 시작 토큰 「<시작>」 뒤에 번역을 붙인 것입니다.

해 볼 것. ① 「인코더만」을 누르면 디코더 기둥이 흐려지고 표는 4 × 4 하나입니다. 16칸이 모두 열려 있습니다. ② 「디코더만」을 누르면 5 × 5 표에서 15칸만 열립니다. 「<시작>」 줄은 자기 하나만 보고, 마지막 「.」 줄은 다섯을 모두 봅니다. ③ 「둘 다」에서는 표가 셋입니다. 크로스 어텐션 표는 5 × 4 = 20칸이 모두 열립니다. 디코더의 「<시작>」 도 원문의 「.」 까지 다 봅니다.

3. 한 걸음씩: 인코더·디코더로 번역하기

원문 「I drink milk .」 를 「나는 우유를 마신다 .」 로 옮깁니다. 인코더는 원문을 처음에 한 번 읽습니다. 디코더는 토큰 하나를 낼 때마다 세 가지를 합니다: 마스크드 셀프 어텐션으로 지금까지 쓴 것을 보고 → 크로스 어텐션으로 원문 어디를 볼지 정하고 → 토큰 하나를 냅니다. 낸 토큰은 디코더 입력 끝에 붙어 다음 토큰의 계산에 들어갑니다.

두 어텐션의 비율은 같은 식으로 셉니다.

비율 = softmax(q · k ÷ √d)

이 비율대로 보이는 토큰들의 밸류(v)를 섞어 가져옵니다. 계산은 어텐션과 같고, q 와 k 를 어디서 가져오느냐만 다릅니다.

초록 칸: 인코더가 읽은 원문. 주황 테두리: 디코더의 지금 자리. 점선 칸: 아직 쓰지 않은 자리. 초록 굽은 화살표: 마스크드 셀프 어텐션. 파랑 화살표: 크로스 어텐션(굵을수록 비율이 크다). 주황 화살표: 낸 토큰이 입력 끝에 붙는 길. 칸 아래 숫자가 그 토큰에 준 비율입니다.

작게 줄인 본보기. 원문 토큰 4개, 디코더 입력 5개, 차원 4, 블록 한 겹, 헤드 하나입니다. 쿼리와 키는 지어낸 수이고, 비율은 그 수로 실제로 계산한 값입니다. 크로스 어텐션의 쿼리는 다음에 옮길 원문 낱말 쪽을 가리키게 일부러 지었습니다. 진짜 모델은 이 수를 학습으로 얻습니다. 내는 토큰은 정해 둔 번역에서 꺼냅니다. 진짜 모델은 블록을 지난 값으로 어휘 전체의 확률을 계산해 고릅니다(트랜스포머와 LLM의 실험 ①).

해 볼 것. 걸음은 모두 16개입니다(인코더 1 + 토큰 5개 × 3). ① 걸음 2 의 마스크드 셀프 어텐션에서 「<시작>」 은 볼 토큰이 자기뿐이라 비율 1.00 입니다. ② 걸음 3 의 크로스 어텐션은 「I」 를 0.49 로 가장 많이 보고, 걸음 4 에서 「나는」 을 냅니다. ③ 원문과 순서가 다른 곳: 걸음 6 은 「milk」 를 0.46 으로 보고 「우유를」 을, 걸음 9 는 「drink」 를 0.45 로 보고 「마신다」 를 냅니다. 크로스 어텐션은 원문을 순서대로 읽지 않고 필요한 자리를 봅니다. ④ 걸음 14 의 셀프 어텐션은 입력 다섯을 0.22, 0.16, 0.17, 0.25, 0.19 로 봅니다. ⑤ 걸음 15 에서 끝 토큰을 낼 때는 크로스 어텐션이 0.23, 0.23, 0.24, 0.30 으로 퍼집니다.

학습 때는 한 토큰씩 돌지 않습니다. 정답 번역을 디코더 입력으로 통째로 넣고, 마스크드 셀프 어텐션 덕분에 모든 자리의 다음 토큰을 한 번에 맞힙니다(LLM 학습 4절). 한 토큰씩 도는 것은 다 배운 뒤 번역을 쓸 때입니다.

4. 세 갈래 비교하기

갈래무엇을 보나무엇을 내나학습 과제어디에 쓰나
인코더만글 전체를 양쪽으로(앞뒤 모두)토큰마다 벡터. 문장 전체를 본 표현가린 낱말 맞히기분류(감정·주제 나누기, 글에서 이름 찾기), 찾기용 벡터(임베딩 모델)
디코더만앞쪽만(인과 마스크)다음 토큰의 확률. 하나씩 붙여 글을 쓴다다음 토큰 맞히기대화, 글쓰기, 코드 이어 쓰기. 할 일을 프롬프트에 적어 번역·요약도 한다
인코더·디코더원문은 양쪽, 번역은 앞쪽만. 크로스 어텐션으로 원문 전체원문을 본 채로 결과 글의 다음 토큰 확률원문을 본 채로 다음 토큰 맞히기번역처럼 받은 글을 다른 글로 바꾸는 일(글 → 글)

인코더만. BERT 논문은 표시 없는 글로 사전 학습하면서 모든 층에서 왼쪽과 오른쪽 문맥을 함께 보게 했고, 다 배운 모델에 출력층 하나만 더해 미세 조정할 수 있다고 적었습니다. 가린 낱말 맞히기와 그 장단점은 LLM 학습 7절에 있습니다.

디코더만. 질문과 지금까지 쓴 답을 한 줄로 이어 놓고 다음 토큰을 맞힙니다. 원문이 따로 없으니 크로스 어텐션이 빠집니다(트랜스포머 1절).

인코더·디코더. T5 논문은 글로 된 모든 문제를 「글을 받아 글을 낸다」 꼴(text-to-text)로 바꾸는 하나의 틀을 내놓았습니다. 받은 글과 낼 글이 따로 있는 꼴이라, 받은 글은 인코더가 읽고 낼 글은 디코더가 쓰는 갈래와 모양이 맞습니다.

자주 묻는 것

인코더만 쓰는 모델은 왜 글을 이어 쓰지 못하나요?

앞뒤를 모두 보는 셀프 어텐션으로 가린 낱말 맞히기를 배웠기 때문입니다. 왼쪽부터 한 토큰씩 다음을 맞히는 연습을 하지 않았습니다. 대신 문장 전체를 본 벡터를 내므로 분류와 찾기에 씁니다.

디코더만 쓰는 모델은 원문이 없는데 번역을 어떻게 하나요?

원문과 할 일을 프롬프트에 적고, 그 뒤에 번역을 이어 씁니다. 원문도 같은 줄의 앞쪽 토큰이 되어 마스크드 셀프 어텐션으로 보입니다. 따로 읽는 인코더와 크로스 어텐션이 없을 뿐입니다.

크로스 어텐션과 셀프 어텐션은 무엇이 다른가요?

계산은 같고 재료가 다릅니다. 셀프 어텐션은 쿼리, 키, 밸류가 모두 같은 글에서 나옵니다. 크로스 어텐션은 쿼리가 디코더에서, 키와 밸류가 인코더의 결과(원문)에서 나옵니다.

낱말

여기서 쓴 말책에서 부르는 말
읽는 부분 / 쓰는 부분인코더(encoder) / 디코더(decoder)
인코더·디코더encoder-decoder
인코더만 / 디코더만 쓰는 모델encoder-only model / decoder-only model
같은 글 안의 어텐션셀프 어텐션(self-attention)
앞만 보게 가린 셀프 어텐션마스크드 셀프 어텐션(masked self-attention), 인과 마스크(causal mask)
디코더가 원문을 보는 어텐션크로스 어텐션(cross-attention)
누가 누구를 보나 표어텐션 마스크(attention mask)
앞뒤를 모두 봄양방향(bidirectional)
쿼리, 키, 밸류query, key, value (q, k, v)
작은 신경망피드포워드 네트워크(feed-forward network), MLP
가린 낱말 맞히기 / 다음 토큰 맞히기masked language modeling / next-token prediction
글을 받아 글을 내는 꼴text-to-text
헤드 여럿으로 하는 어텐션멀티 헤드 어텐션(multi-head attention)
블록 안의 한 부분(어텐션, 피드포워드 층)하위 층(sublayer)
더하고 정규화Add & Norm(잔차 연결 + 레이어 정규화)
건너뛰는 길잔차 연결(residual connection)
블록을 N 겹 쌓음× N, N×
한 칸 밀린 출력outputs (shifted right)

출처

← 트랜스포머와 LLM임베딩 모델: 문장을 벡터 하나로 →