비전 트랜스포머(ViT): 그림을 패치로 잘라 낱말처럼 읽기
트랜스포머는 문장을 읽으려고 만든 모델입니다. 그림을 작은 정사각형 조각인 패치(patch)로 잘라 패치 하나를 낱말 하나처럼 넣으면 그림도 읽을 수 있습니다. 패치 크기를 바꿔 패치 수와 계산이 어떻게 변하는지 보세요.
한 줄 답. 비전 트랜스포머(ViT)는 그림을 패치(작은 정사각형 조각)로 자르고, 패치마다 픽셀을 한 줄로 펴서 선형 사영으로 벡터를 만든 뒤, 위치 임베딩(position embedding)과 클래스 토큰(class token)을 더해 그대로 트랜스포머에 넣는 모델입니다. 패치 수는 N = (그림 한 변 ÷ 패치 한 변)², 셀프 어텐션 행렬(attention matrix)의 칸 수는 N² 입니다. 224 × 224 그림을 패치 16 으로 자르면 196 패치, 38,416 칸입니다. 합성곱 신경망(CNN)과 달리 「가까운 픽셀부터 본다」는 가정이 없어서, 자료가 많거나 큰 자료로 미리 학습한 모델이 있을 때 잘 맞습니다.
패치 크기 단추로 자르는 선을 바꾸고, 그림의 패치를 누르거나 「고른 패치」 칸에 번호를 넣어 패치를 고르세요. 그림은 지어낸 32 × 32 픽셀이고 픽셀마다 색 숫자 3 개(빨강, 초록, 파랑)가 있습니다. 진짜 ViT 는 보통 이보다 큰 그림을 쓰는데, 자르고 펴는 방법은 같습니다. 이 실험은 숫자를 세기만 하고 학습은 하지 않습니다.
해 볼 것. ① 처음(패치 8)에는 한 변 4 패치, 패치 16 개, 패치 하나의 숫자 192 개(8 × 8 × 3), 어텐션 행렬 256 칸(클래스 토큰까지 289 칸)입니다. 해가 4번 패치 안에 다 들어 있습니다. ② 「패치 4」를 누르면 한 변 8 패치, 64 개, 숫자 48 개, 4,096 칸입니다. 패치를 반으로 줄이니 패치는 4 배, 칸은 16 배가 됐습니다. 해는 패치 넷(7, 8, 15, 16번)에 나뉘어 담기고, 고른 패치는 같은 자리의 16번이 됩니다. ③ 「패치 16」은 한 변 2 패치, 4 개, 숫자 768 개, 16 칸입니다. 패치는 적고 계산은 작지만, 패치 하나가 그림의 4분의 1 을 통째로 담습니다.
1. 비전 트랜스포머란: 그림을 낱말처럼
트랜스포머는 낱말(토큰)의 시퀀스(sequence)를 받아, 낱말마다 다른 모든 낱말을 비교하는 셀프 어텐션으로 뜻을 섞습니다. 그림에는 낱말이 없습니다. 픽셀 하나하나를 낱말로 삼으면 224 × 224 그림 하나가 50,176 개의 낱말이 되고, 모든 쌍을 비교하는 어텐션 행렬이 너무 커집니다.
비전 트랜스포머는 그래서 픽셀을 묶어 낱말을 만듭니다. 그림을 바둑판처럼 P × P 픽셀의 정사각형 조각(패치)으로 자르고, 패치 하나를 낱말 하나로 씁니다. 그 뒤는 글을 읽는 트랜스포머의 인코더와 같습니다. 원 논문의 제목 「그림 한 장은 16 × 16 낱말의 값어치」가 이 생각입니다.
2. 절차: 자르기에서 분류까지
1. 자르기 그림 H × W × C → 패치 N 개(각 P × P × C) N = (H × W) ÷ P²
2. 펴기 패치 k → 숫자 P²·C 개짜리 줄 x_k
3. 선형 사영 e_k = x_k · E E 는 (P²·C) × D 행렬. 학습한다
4. 클래스 토큰 맨 앞에 x_class 하나를 둔다 학습하는 벡터
5. 위치 z₀ = [x_class, e_1, …, e_N] + E_pos E_pos 는 (N + 1) × D. 학습한다
6. 인코더 z₀ 를 트랜스포머 인코더 층에 차례로 통과시킨다
7. 분류 마지막 층의 클래스 토큰 자리 벡터 → 분류 헤드 → 클래스 점수
C 는 채널 수(색이면 3), D 는 모델이 정한 토큰 벡터의 길이입니다. 5 의 줄이 원 논문의 식 (1) 입니다.
패치 → 벡터: 선형 사영
패치를 펴면 숫자 P²·C 개의 줄이 됩니다. 이 줄에 행렬 E 를 곱해 길이 D 의 벡터로 바꿉니다. 모든 패치가 같은 E 를 씁니다. 글에서 낱말을 임베딩 표에서 찾아 벡터로 바꾸는 자리를, 그림에서는 이 곱셈이 맡습니다.
위치 임베딩 더하기
셀프 어텐션은 토큰의 차례를 보지 않습니다. 위치 정보가 없으면 패치들을 마구 섞어 넣어도 클래스 토큰 자리의 결과가 같습니다. 해가 왼쪽 위에 있는지 오른쪽 아래에 있는지 모르는 셈입니다. 그래서 자리마다 위치 벡터를 하나씩 두고 토큰에 더합니다(위치 인코딩). 원 논문의 ViT 는 패치 번호마다 학습하는 1차원 위치 벡터를 썼고, 2차원 자리를 아는 방식으로 바꿔도 크게 나아지지 않았다고 보고했습니다.
클래스 토큰
그림 전체에 답 하나(예: 「고양이」)를 내려면 벡터 하나가 필요합니다. 맨 앞에 학습하는 벡터 하나(클래스 토큰)를 끼워 넣으면, 층을 지나는 동안 어텐션으로 모든 패치의 정보를 모읍니다. 마지막 층에서 이 자리의 벡터만 분류 헤드(classification head)에 넣습니다. 문장 모델 BERT 의 [CLS] 와 같은 방법입니다. 모든 패치 벡터의 평균을 쓰는 방법도 있습니다.
3. 식이 만들어지는 과정
224 × 224 그림, 패치 16 으로 패치 수와 어텐션 행렬의 크기를 만들어 봅니다. 그림은 위 실험의 32 × 32 그림을 7 배로 키운 것입니다(32 × 7 = 224). H 는 그림 한 변, P 는 패치 한 변, N 은 패치 수입니다.
- 한 변 자르기:
H ÷ P. 224 ÷ 16 = 14. 한 변이 14 패치입니다. 나누어떨어져야 하므로 그림 크기를 패치 크기의 배수로 맞춰 넣습니다. - 제곱:
N = (H ÷ P)². 세로도 14 라서 14 × 14 = 196 패치입니다. 그림의 넓이(H²)를 패치 하나의 넓이(P²)로 나눈 것과 같습니다. 까닭: 패치는 가로와 세로 두 방향으로 늘어서 있어서, 한 변의 패치 수를 두 번 곱합니다. - 모든 쌍:
칸 = N × N. 셀프 어텐션은 패치마다 모든 패치(자기 자신 포함)와 점수를 하나씩 냅니다. 패치 하나가 196 개와 비교하고, 196 개가 모두 그렇게 합니다. 까닭: 첫 층부터 그림 끝과 끝을 바로 잇기 위해 가까운 것만 고르지 않고 전부와 비교합니다. - 완성:
칸 = N² = (H ÷ P)⁴. 196² = 38,416 칸입니다(클래스 토큰까지 197² = 38,809). 한 변의 패치 수의 네제곱이라, 패치를 반(8)으로 줄이면 784 패치, 614,656 칸으로 16 배가 됩니다. 그림 한 변을 두 배(448)로 키워도 같은 16 배입니다.
이 행렬은 층마다, 어텐션 헤드마다 하나씩 만듭니다. 어텐션 행렬의 계산과 메모리는 N² 으로 늘고, 토큰마다 따로 하는 계산(사영, 층 안의 작은 신경망)은 N 에 비례해 늡니다. 그래서 패치가 적을 때는 뒤쪽이 더 크고, 패치가 많아질수록 N² 쪽이 앞지릅니다.
해 볼 것. 「다음」을 세 번 누르며 식에 붙는 조각(주황 바탕)을 보세요. ① 세로선 13 개가 한 변을 14 패치로 나눕니다. ② 모눈이 196 칸이 됩니다. ③ 해의 가운데에 있는 주황 패치(27번)에서 196 개 패치의 가운데로 선이 갑니다. ④ 오른쪽 보라 행렬이 196 × 196 = 38,416 칸이고, 주황 띠 한 줄(196 칸)이 ③ 의 선들입니다.
4. 손으로 따라가기
위 실험의 처음 값, 32 × 32 컬러 그림과 패치 8 입니다.
- 한 변.
32 ÷ 8 = 4. 한 변에 4 패치. - 패치 수.
N = 4² = 16. - 펴기. 패치 하나는
8 × 8 = 64픽셀, 픽셀마다 숫자 3 개라64 × 3 = 192개의 줄. - 사영. 192 개짜리 줄에 192 × D 행렬 E 를 곱해 숫자 D 개의 벡터 하나. 패치 16 개가 같은 E 를 씁니다.
- 토큰과 표. 클래스 토큰을 더해 토큰 17 개. 어텐션 행렬은
16² = 256칸(클래스 토큰까지17² = 289칸).
사영 한 번을 숫자로 해 봅니다. 아주 작게, 회색 그림의 2 × 2 패치 하나(색 숫자 1 개)를 D = 2 로 바꿉니다. E 는 학습으로 정해지는 행렬인데, 여기서는 보기 쉽게 「윗줄 합」과 「아랫줄 합」을 내는 행렬로 정했습니다.
| 단계 | 계산 | 결과 |
|---|---|---|
| 패치(밝기) | [2 0] / [1 3] | 2 × 2 |
| 펴기 | 왼쪽 위부터 한 줄씩 | x = [2, 0, 1, 3] |
| E 의 첫째 열 [1, 1, 0, 0] | 2·1 + 0·1 + 1·0 + 3·0 | 2 |
| E 의 둘째 열 [0, 0, 1, 1] | 2·0 + 0·0 + 1·1 + 3·1 | 4 |
| 사영 | e = x · E | [2, 4] |
| 위치 더하기(이 자리의 위치 벡터 [0.5, 0]) | [2 + 0.5, 4 + 0] | [2.5, 4] |
5. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
패치 수 N = (H ÷ P)² | 패치 한 변을 반으로 줄이면 패치가 4 배 | ① 패치 8 → 4: 16 → 64 |
어텐션 칸 N² = (H ÷ P)⁴ | 패치를 반으로 줄이거나 그림 한 변을 두 배로 하면 16 배 | ① 256 → 4,096, ② 38,416 → 614,656 |
패치 하나의 길이 P² × C | 패치가 클수록 패치 하나에 담는 숫자가 많고, 행렬 E 도 커진다 | ① 48, 192, 768 |
| 위치를 더하지 않으면 차례를 모른다 | 셀프 어텐션은 토큰의 순서를 보지 않는다. 위치 벡터가 그 자리를 알려 준다 | 2절 |
| 가까운 것부터 본다는 가정이 없다 | 첫 층부터 모든 패치와 비교한다. 이웃이 중요하다는 것을 자료에서 배워야 한다 | ② ③ 단계의 선 |
6. 합성곱 신경망과 다른 점
- 보는 범위. 합성곱의 필터는 3 × 3 처럼 가까운 픽셀만 봅니다. 층을 쌓아야 보는 범위가 넓어집니다. ViT 의 셀프 어텐션은 첫 층부터 모든 패치를 봅니다.
- 미리 넣은 가정. 합성곱 신경망에는 「가까운 픽셀끼리 관계가 깊다」(지역성, locality)와 「같은 무늬는 어디에 있든 같은 필터로 찾는다」(이동 등변성, translation equivariance)는 가정이 구조에 들어 있습니다. 이런 가정을 귀납적 편향이라고 부릅니다. ViT 에는 이 가정이 거의 없습니다. 원 논문의 말로는 패치로 자를 때와 위치 벡터를 맞출 때 말고는 2차원 이웃 구조를 거의 쓰지 않습니다. 그래서 그 관계를 자료에서 배워야 하고, 자료가 많이 필요합니다. 원 논문은 ImageNet 같은 중간 크기 자료로만 학습하면 비슷한 크기의 ResNet(합성곱 신경망)보다 조금 못하고, 훨씬 큰 자료로 먼저 학습한 뒤 옮겨 쓰면 앞선다고 보고했습니다.
- 계산이 느는 방식. 합성곱 층의 계산은 픽셀 수에 비례합니다. ViT 의 어텐션 행렬은 패치 수의 제곱, 곧 그림 한 변의 네제곱으로 늡니다(3절). 높은 해상도가 비쌉니다.
7. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 합성곱 신경망(CNN) | 가까운 픽셀부터 본다는 가정이 들어 있어 자료가 적어도 잘 배운다. 계산이 픽셀 수에 비례해 큰 그림도 감당한다 | 멀리 떨어진 곳을 이으려면 층을 많이 쌓아야 한다 | 자료가 적고 쓸 만한 사전 학습 모델이 없을 때. 해상도가 높을 때. 작은 기기 |
| 비전 트랜스포머(ViT) | 첫 층부터 그림 전체를 본다. 구조가 단순해 자료와 모델을 키우기 쉽고, 글의 트랜스포머와 같은 부품을 쓴다 | 가정이 적어 처음부터 학습하려면 자료가 많이 필요하다. 패치 수의 제곱으로 계산이 늘어 높은 해상도가 비싸다 | 큰 자료로 사전 학습된 모델을 가져와 미세 조정할 때(전이 학습). 224 × 224 처럼 패치가 수백 개인 해상도 |
| 하이브리드(합성곱 줄기 + 트랜스포머, 작은 윈도우 안에서만 어텐션) | 합성곱이나 작은 윈도우로 가까운 것을 먼저 본다. 윈도우 어텐션은 계산이 그림 크기에 비례한다 | 구조가 복잡하고, 순수 트랜스포머용 도구를 그대로 쓰기 어렵다 | 자료가 중간쯤일 때. 높은 해상도가 필요한 검출과 분할 |
원 논문에도 섞은 것(하이브리드)이 있습니다. 그림 대신 합성곱 신경망이 뽑은 특징 맵(feature map)을 패치로 잘라 넣습니다. Swin 트랜스포머는 그림을 작은 윈도우(window)로 나눠 윈도우 안에서만 어텐션하고 층마다 윈도우를 옮겨 이웃 윈도우를 잇습니다. 그래서 계산이 그림 크기에 비례합니다.
어디에 쓰나
- 이미지 분류. 클래스 토큰의 마지막 벡터를 분류 헤드에 넣어 클래스를 고릅니다.
- 사전 학습한 모델을 옮겨 쓰기. 큰 자료로 학습한 ViT 를 가져와 내 자료로 미세 조정합니다. 원 논문도 이렇게 평가했습니다(전이 학습).
- 검출과 분할의 바탕. 윈도우 어텐션을 쓰는 섞은 구조가 물체 검출과 분할의 바탕 모델로 쓰입니다(Swin 논문).
자주 묻는 것
패치는 작을수록 좋은가요?
작을수록 그림을 잘게 보지만 계산이 빨리 늡니다. 패치 한 변을 반으로 줄이면 패치는 4 배, 어텐션 행렬의 칸은 16 배가 됩니다. 224 × 224 그림에서 패치 16 은 196 패치와 38,416 칸, 패치 8 은 784 패치와 614,656 칸입니다.
학습할 때보다 큰 그림을 넣을 수 있나요?
패치 크기를 그대로 두면 패치 수가 늘고, 늘어난 자리에 맞는 위치 벡터가 없습니다. 원 논문은 큰 그림으로 미세 조정할 때 학습한 위치 벡터를 그림 위의 자리에 맞춰 2차원으로 보간해 썼습니다. 패치 수가 늘면 어텐션 행렬도 제곱으로 커집니다.
ViT 에는 합성곱이 전혀 없나요?
패치를 벡터로 바꾸는 선형 사영은 커널 크기와 스트라이드(stride)가 패치 크기와 같은 합성곱 한 번과 같은 계산이라, 구현에서는 흔히 합성곱 층 하나로 짭니다. 그 뒤의 트랜스포머 층에는 합성곱이 없습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 그림을 조각 내 읽는 트랜스포머 | 비전 트랜스포머(Vision Transformer, ViT) |
| 정사각형 조각 | 패치(patch) |
| 패치를 펴서 벡터로 | 패치 임베딩(patch embedding), 선형 사영(linear projection) |
| 색 숫자의 수 | 채널(channel). 컬러는 RGB 3 채널 |
| 토큰을 늘어놓은 것, 패치 수 | 시퀀스(sequence), 시퀀스 길이(sequence length) |
| 자리마다 더하는 벡터 | 위치 임베딩(position embedding) |
| 분류용 토큰 | 클래스 토큰(class token, [CLS]) |
| 마지막의 분류 층 | 분류 헤드(classification head) |
| 모든 쌍의 점수 표 | 어텐션 행렬(attention matrix), 셀프 어텐션(self-attention) |
| 구조에 미리 넣은 가정 | 귀납적 편향(inductive bias) |
| 가까운 것부터 본다 | 지역성(locality) |
| 옮겨도 같은 필터로 찾는다 | 이동 등변성(translation equivariance) |
| 큰 자료로 먼저 학습 | 사전 학습(pre-training) |
| 가져와 내 자료로 다시 맞추기 | 미세 조정(fine-tuning), 전이 학습(transfer learning) |
| 합성곱과 트랜스포머를 섞은 것 | 하이브리드(hybrid), 윈도우 어텐션(window attention) |
| 사이 값을 이어 채우기 | 보간(interpolation) |
출처
- Alexey Dosovitskiy 외, An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, arXiv:2010.11929. 조각 자르기와 식 (1), 학습하는 위치 벡터와 분류 토큰, 귀납적 편향과 자료 양, 하이브리드, 큰 그림으로 미세 조정할 때 위치 벡터 보간.
- Ashish Vaswani 외, Attention Is All You Need, arXiv:1706.03762. 트랜스포머 인코더, 셀프 어텐션의 계산이 시퀀스 길이의 제곱으로 느는 것.
- Ze Liu 외, Swin Transformer: Hierarchical Vision Transformer using Shifted Windows, arXiv:2103.14030. 창 안에서만 하는 어텐션, 그림 크기에 비례하는 계산, 검출과 분할.
- torchvision 소스, vision_transformer.py. 패치 사영을 커널과 보폭이 패치 크기인 합성곱 층 하나로 짠 구현.