멀티모달 학습: CLIP 이 그림과 글을 한 공간에 놓는 법
이미지와 텍스트를 같은 벡터 공간에 놓으면, 「이 사진에 맞는 글은?」과 「이 글에 맞는 사진은?」을 거리 하나로 풀 수 있습니다. 이미지 4 개 × 텍스트 4 개의 유사도 표로 CLIP 의 손실을 한 걸음씩 세어 보세요.
한 줄 답. CLIP 은 이미지 인코더와 텍스트 인코더가 각각 벡터를 내고, 배치 안의 짝인 이미지와 텍스트는 가깝게, 짝이 아닌 것은 멀게 배웁니다. 배치의 N × N 유사도 표에서 대각선이 정답이고, 행 방향과 열 방향의 교차 엔트로피를 평균한 것이 손실입니다. 다 배우고 나면 클래스 이름을 문장으로 적기만 해도 분류할 수 있습니다(제로샷 분류).
행은 이미지, 열은 텍스트입니다. 칸의 초록이 진할수록 값이 큽니다. 주황 테두리가 원래의 쌍(대각선)입니다. 벡터는 세 칸짜리로 지어낸 값이고 실제 CLIP 이 낸 값이 아닙니다. 그래서 숫자는 모식(실제 측정값 아님)입니다.
해 볼 것. ① 처음 그대로(τ = 0.10) 「다음」을 누르면 1 행(빨간 원)은 짝 「빨간 원」이 93%, 「노란 별」이 7% 이고 손실은 0.07 입니다. 더 누르면 4 행(노란 별 이미지)이 짝에 59%, 「초록 삼각형」에 37% 를 줘서 행 손실이 0.53 으로 가장 큽니다. 끝까지 가면 L_이미지 0.20, L_텍스트 0.20, L = 0.20 입니다. ② τ 를 0.05 로 내리면 1 행이 100% 로 뾰족해지고 L = 0.09, 1 로 올리면 1 행이 35% 로 평평해지고 L = 1.09 입니다. ③ τ = 0.10 에서 「텍스트 하나 어긋나게」를 누르면 「노란 별」 텍스트가 빨간 원 쪽으로 가서 1 행이 52% 와 48% 로 갈리고, L 이 0.20 에서 0.65 로 오릅니다. 이 상태에서 τ 를 0.05 로 내리면 L 은 오히려 1.01 로 오릅니다. 온도가 낮으면 맞을 때의 손실은 더 작고 틀릴 때의 손실은 더 큽니다.
1. 멀티모달 학습이란: 종류가 다른 자료를 같이 다루기
이미지, 텍스트, 소리처럼 자료의 종류 하나하나를 모달리티(modality)라고 부릅니다. 종류가 다른 자료를 한 모델에서 같이 다루는 것이 멀티모달 학습(multimodal learning)입니다. 「이 사진을 설명하는 글 고르기」, 「글로 사진 찾기」처럼 두 모달리티를 잇는 일이 여기에 듭니다.
어려운 점은 두 자료의 모양이 전혀 다르다는 것입니다. 이미지는 픽셀의 격자이고 텍스트는 토큰의 줄입니다. 그래서 보통은 모달리티마다 다른 신경망, 곧 인코더(encoder, 자료를 벡터로 바꾸는 부분)를 둡니다. 그런데 두 인코더를 따로 학습하면, 이미지 벡터와 텍스트 벡터는 길이가 같아도 칸의 뜻이 서로 맞지 않아 견줄 수 없습니다. 두 벡터를 같은 공간에 놓도록 같이 학습해야 합니다. 그 방법 하나가 CLIP 입니다.
2. CLIP 의 생각: 인코더 둘, 공간 하나
CLIP 은 인터넷에서 모은 이미지-텍스트 쌍 4억 개로, 「어느 텍스트가 어느 이미지와 짝인가」를 맞히는 과제를 풀며 처음부터 학습한 모델입니다(Radford 외, 2021). 이미지 인코더는 이미지를, 텍스트 인코더는 텍스트를 같은 길이의 벡터, 곧 임베딩(embedding)으로 바꿉니다. 학습은 이 두 벡터가 짝이면 가깝게, 짝이 아니면 멀게 놓이도록 두 인코더를 함께 고칩니다. 가깝게 할 짝을 양성 쌍(positive pair), 멀게 할 나머지를 음성 쌍(negative pair)이라 하고, 이렇게 견주며 배우는 방식을 대조 학습(contrastive learning)이라고 부릅니다.
논문은 정해진 레이블 집합이 아니라 자연어로 배웠다는 점을 강조합니다. 텍스트로 배웠기 때문에, 배운 시각 개념을 글로 가리키거나 새 개념을 글로 적어 주면 그것으로 다른 과제를 풀 수 있습니다. 이것이 4절의 제로샷 분류입니다.
3. 학습: N × N 유사도 행렬과 대칭 교차 엔트로피
배치(batch)에 이미지-텍스트 쌍이 N 개 있습니다. 이미지 N 개를 이미지 인코더에, 텍스트 N 개를 텍스트 인코더에 넣어 벡터를 얻고, 모든 이미지와 모든 텍스트 사이의 코사인 유사도(cosine similarity, 두 벡터의 방향이 얼마나 같은가)를 재면 N × N 표가 나옵니다. i 번 이미지의 짝은 i 번 텍스트이니 대각선 N 칸이 정답(양성 쌍)이고, 나머지 N² − N 칸이 음성 쌍입니다. 레이블을 따로 붙이지 않아도 배치 안에서 정답이 정해집니다.
그다음은 칸의 유사도를 확률로 바꿔 「맞히기」로 보는 것입니다. 행 i 는 「이미지 i 의 짝은 텍스트 N 개 가운데 무엇인가」, 열 j 는 「텍스트 j 의 짝은 이미지 N 개 가운데 무엇인가」입니다. 두 방향 모두 교차 엔트로피(cross-entropy)로 손실을 내고 평균합니다.
유사도 s_ij = cos(I_i, T_j) = (I_i · T_j) ÷ (‖I_i‖ ‖T_j‖)
행 소프트맥스 p_ij = exp(s_ij / τ) ÷ (exp(s_i1 / τ) + … + exp(s_iN / τ))
열 소프트맥스 q_ij = exp(s_ij / τ) ÷ (exp(s_1j / τ) + … + exp(s_Nj / τ))
행 방향 손실 L_이미지 = −(log p_11 + log p_22 + … + log p_NN) ÷ N
열 방향 손실 L_텍스트 = −(log q_11 + log q_22 + … + log q_NN) ÷ N
손실 L = (L_이미지 + L_텍스트) ÷ 2
N: 배치 안의 이미지-텍스트 쌍의 수. 실험 ① 은 N = 4 입니다.I_i: i 번 이미지를 이미지 인코더에 넣어 나온 벡터.T_j: j 번 텍스트를 텍스트 인코더에 넣어 나온 벡터.·,‖ ‖: 내적과 벡터의 길이. 내적을 두 길이로 나누면 코사인 유사도(−1 ~ 1)가 됩니다.s_ij: 이미지 i 와 텍스트 j 의 코사인 유사도. 표의 i 행 j 열 칸입니다.τ: 온도(temperature). 유사도를 τ 로 나눈 뒤 소프트맥스를 합니다.p_ij: i 행 안에서 소프트맥스한 확률(이미지 i → 텍스트 j). 행마다 합이 1 입니다.q_ij: j 열 안에서 소프트맥스한 확률(텍스트 j → 이미지 i). 열마다 합이 1 입니다.log: 자연로그. 정답 확률이 1 이면−log 1 = 0, 작을수록 커집니다.L: 배치 하나의 손실. 학습은 이 값이 작아지게 두 인코더의 가중치를 함께 고칩니다.
온도 τ. 유사도를 작은 τ 로 나누면 칸 사이의 차이가 커져서 소프트맥스가 가장 큰 칸으로 몰립니다(뾰족함). τ 가 크면 확률이 고르게 퍼집니다(평평함). LLM 이 다음 토큰을 고를 때의 온도와 같은 계산입니다(샘플링). 코사인 유사도는 −1 ~ 1 사이라 τ = 1 이면 확률이 거의 고르게 퍼집니다(해 볼 것 ② 의 35%). 그래서 작은 τ 가 필요하고, CLIP 은 이 τ 를 정해 두지 않고 학습으로 정합니다(논문 2.3절. 2.5절은 처음 값을 0.07 로 두었다고 적습니다).
코드로는 몇 줄입니다. 아래는 널리 쓰는 PyTorch 식 의사 코드입니다(논문의 코드를 옮긴 것이 아닙니다).
image_vectors = F.normalize(image_encoder(images), dim=-1) # N × d, 길이를 1 로
text_vectors = F.normalize(text_encoder(texts), dim=-1) # N × d
logits = image_vectors @ text_vectors.T / tau # N × N, 칸 = s_ij / τ
labels = torch.arange(N) # 정답은 대각선: i 번 이미지의 짝은 i 번 텍스트
loss = (F.cross_entropy(logits, labels) # 행 방향: 이미지 → 텍스트
+ F.cross_entropy(logits.T, labels)) / 2 # 열 방향: 텍스트 → 이미지
길이를 1 로 맞춘 벡터끼리의 내적은 코사인 유사도와 같습니다. 그래서 행렬 곱 한 번으로 N × N 표 전체가 나옵니다. logits.T 의 행은 원래 표의 열이라, 같은 함수를 한 번 더 부르면 열 방향 손실이 됩니다.
4. 제로샷 분류: 클래스 이름을 문장으로
다 배운 CLIP 으로 이미지를 분류하는 법은 이렇습니다. 레이블이 붙은 예시를 하나도 보여 주지 않고 답하니 제로샷 분류(zero-shot classification)라고 부릅니다.
- 문장 만들기. 클래스 이름마다
a photo of a {클래스}같은 프롬프트 템플릿(prompt template, 문장 틀)에 넣어 문장을 만듭니다. - 벡터로. 문장들을 텍스트 인코더에, 분류할 이미지를 이미지 인코더에 넣습니다.
- 견주기. 이미지 벡터와 문장 벡터마다 코사인 유사도를 재고 소프트맥스로 확률을 냅니다. 실험 ① 의 표에서 한 행만 계산하는 것과 같습니다.
- 답. 가장 비슷한 문장의 클래스가 답입니다.
| 클래스와 문장 | 유사도 | 확률 |
|---|
이미지와 문장의 벡터는 실험 ① 처럼 세 칸짜리로 지어낸 값이고 실제 CLIP 이 낸 값이 아닙니다. 온도는 τ = 0.10 으로 두었습니다.
해 볼 것. ① 빨간 원을 고르면 「원」이 유사도 0.99 로 60%, 「하트」가 0.95 로 39% 입니다. 답은 원이지만, 문장 벡터가 비슷한 후보끼리는 확률을 나눠 가집니다. ② 노란 별을 고르면 후보에 별이 없어서 「삼각형」을 89% 로 답합니다. 틀렸는데도 확신이 큽니다. ③ 별을 고른 채 클래스 더하기 단추를 누르면 별이 유사도 1.00, 70% 로 답이 되고 삼각형은 27% 로 내려갑니다. 학습은 한 번도 하지 않았습니다. 초록 삼각형을 고르면 별이 들어온 뒤 삼각형의 확률이 99% 에서 76% 로 줄어듭니다. 후보를 더하면 다른 후보의 확률도 바뀝니다.
새 클래스를 더하는 일은 문장 하나를 더 넣는 일이고, 두 인코더의 가중치는 그대로입니다. 정해진 레이블로 학습한 분류기라면 클래스를 더할 때 그 클래스의 레이블 자료를 모아 다시 학습해야 합니다. 대신 해 볼 것 ② 처럼, 제로샷 분류는 내가 적어 준 후보 가운데서만 고릅니다. 맞는 클래스가 목록에 없으면 가장 가까운 다른 클래스를 답합니다.
논문은 30 개가 넘는 비전 자료 집합(문자 인식(OCR), 비디오의 동작 인식, 사진의 위치 맞히기, 세밀한 분류 등)에서 이 방식을 평가했고, ImageNet 의 제로샷 정확도가 128만 장의 레이블로 학습한 원래의 ResNet-50 과 같은 수준이었다고 보고합니다.
5. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 정해진 레이블로 학습한 분류기 | 그 클래스 목록과 자료에 맞춰 학습한다 | 클래스를 더하려면 레이블 자료를 모아 다시 학습해야 한다 | 클래스가 정해져 있고 레이블이 붙은 자료가 있을 때 |
| CLIP 제로샷 분류 | 클래스 이름을 문장으로 적기만 하면 후보가 된다. 학습이 없다 | 적어 준 후보 밖의 답은 내지 못하고, 틀려도 가장 가까운 후보를 고른다(해 볼 것 ②) | 레이블 자료가 없거나 클래스가 자주 바뀔 때. 먼저 재 보고 쓴다 |
| CLIP 임베딩으로 찾기 | 이미지와 텍스트가 같은 공간이라, 텍스트로 이미지를 찾고 이미지로 비슷한 이미지를 찾는다 | 벡터를 미리 만들어 두고 가까운 것을 찾는 장치가 따로 필요하다 | 이미지 검색, 이미지에 맞는 설명 고르기 |
어디에 쓰나
- 텍스트로 이미지 찾기. 검색어를 텍스트 인코더로 벡터로 바꾸고, 미리 만들어 둔 이미지 벡터 가운데 가장 가까운 것을 돌려줍니다. 실험 ① 의 표에서 한 열을 보는 것과 같습니다.
- 이미지로 이미지 찾기. 이미지 벡터끼리 견주면 비슷한 이미지를 찾을 수 있습니다. 텍스트만 다루는 임베딩 모델로 문서를 찾는 것과 같은 방식입니다.
- 제로샷 분류. 4절처럼 클래스 이름만 적어 분류합니다.
- 다른 모델의 부품. 텍스트를 벡터로 바꾸는 부분이 필요한 모델, 예를 들어 글로 이미지를 만드는 디퓨전 모델에서 이런 텍스트 인코더를 가져다 쓰기도 합니다.
인코더 자리에는 자료를 벡터로 바꾸는 신경망이면 무엇이든 들어갈 수 있습니다. 이미지 쪽은 합성곱 신경망이나 비전 트랜스포머, 텍스트 쪽은 트랜스포머가 그런 예입니다.
자주 묻는 것
CLIP 이 이미지를 만드나요?
아닙니다. CLIP 은 이미지와 텍스트를 각각 벡터로 바꾸고, 두 벡터가 얼마나 비슷한지를 잴 뿐입니다. 그래서 할 수 있는 일은 고르기와 찾기입니다. 이미지를 만드는 일은 디퓨전 같은 생성 모델이 합니다.
제로샷이면 학습을 전혀 하지 않나요?
사전 학습은 합니다. CLIP 은 인터넷에서 모은 이미지-텍스트 쌍 4억 개로 학습했습니다. 제로샷은 지금 풀 과제의 레이블이 붙은 예시를 하나도 보지 않고 답한다는 뜻입니다. 새 클래스는 문장 하나를 더 넣을 뿐이고 가중치는 그대로입니다.
왜 행 방향과 열 방향 두 번 손실을 내나요?
행 방향은 이미지마다 맞는 텍스트를, 열 방향은 텍스트마다 맞는 이미지를 고르게 합니다. 같은 유사도 표여도 소프트맥스로 나누는 합이 행과 열에서 달라 두 값이 다릅니다. 둘을 평균하면 두 방향을 똑같이 봅니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 종류가 다른 자료를 같이 다루기 | 멀티모달 학습(multimodal learning) |
| 자료의 종류(이미지, 텍스트, 소리) | 모달리티(modality) |
| 자료를 벡터로 바꾸는 신경망 | 인코더(encoder): 이미지 인코더(image encoder), 텍스트 인코더(text encoder) |
| 자료를 바꾼 벡터 | 임베딩(embedding) |
| 가깝게 할 짝 · 멀게 할 나머지 | 양성 쌍(positive pair) · 음성 쌍(negative pair) |
| 짝과 나머지를 견주며 배우기 | 대조 학습(contrastive learning) |
| 두 벡터의 방향이 얼마나 같은가 | 코사인 유사도(cosine similarity) |
| 점수를 합이 1 인 확률로 바꾸기 | 소프트맥스(softmax) |
| 확률을 뾰족하게·평평하게 하는 수 | 온도(temperature) |
| 행 방향과 열 방향 손실의 평균 | 대칭 교차 엔트로피(symmetric cross-entropy) |
| 한 번에 보는 쌍 N 개 | 배치(batch) |
| 예시 없이 클래스 이름만으로 분류 | 제로샷 분류(zero-shot classification) |
| 클래스 이름을 넣는 문장 틀 | 프롬프트 템플릿(prompt template) |
출처
- Radford 외, Learning Transferable Visual Models From Natural Language Supervision, 2021(CLIP. 인터넷에서 모은 이미지-텍스트 쌍 4억 개, 어느 텍스트가 어느 이미지와 짝인지 맞히는 과제로 처음부터 학습, 자연어로 배워 제로샷으로 다른 과제에 옮겨짐, 30 개가 넘는 비전 자료 집합에서 평가, ImageNet 제로샷 정확도가 원래의 ResNet-50 과 같은 수준).