멀티모달 학습: CLIP 이 그림과 글을 한 공간에 놓는 법

이미지와 텍스트를 같은 벡터 공간에 놓으면, 「이 사진에 맞는 글은?」과 「이 글에 맞는 사진은?」을 거리 하나로 풀 수 있습니다. 이미지 4 개 × 텍스트 4 개의 유사도 표로 CLIP 의 손실을 한 걸음씩 세어 보세요.

한 줄 답. CLIP 은 이미지 인코더와 텍스트 인코더가 각각 벡터를 내고, 배치 안의 짝인 이미지와 텍스트는 가깝게, 짝이 아닌 것은 멀게 배웁니다. 배치의 N × N 유사도 표에서 대각선이 정답이고, 행 방향과 열 방향의 교차 엔트로피를 평균한 것이 손실입니다. 다 배우고 나면 클래스 이름을 문장으로 적기만 해도 분류할 수 있습니다(제로샷 분류).

행은 이미지, 열은 텍스트입니다. 칸의 초록이 진할수록 값이 큽니다. 주황 테두리가 원래의 쌍(대각선)입니다. 벡터는 세 칸짜리로 지어낸 값이고 실제 CLIP 이 낸 값이 아닙니다. 그래서 숫자는 모식(실제 측정값 아님)입니다.

해 볼 것. ① 처음 그대로(τ = 0.10) 「다음」을 누르면 1 행(빨간 원)은 짝 「빨간 원」이 93%, 「노란 별」이 7% 이고 손실은 0.07 입니다. 더 누르면 4 행(노란 별 이미지)이 짝에 59%, 「초록 삼각형」에 37% 를 줘서 행 손실이 0.53 으로 가장 큽니다. 끝까지 가면 L_이미지 0.20, L_텍스트 0.20, L = 0.20 입니다. ② τ 를 0.05 로 내리면 1 행이 100% 로 뾰족해지고 L = 0.09, 1 로 올리면 1 행이 35% 로 평평해지고 L = 1.09 입니다. ③ τ = 0.10 에서 「텍스트 하나 어긋나게」를 누르면 「노란 별」 텍스트가 빨간 원 쪽으로 가서 1 행이 52% 와 48% 로 갈리고, L 이 0.20 에서 0.65 로 오릅니다. 이 상태에서 τ 를 0.05 로 내리면 L 은 오히려 1.01 로 오릅니다. 온도가 낮으면 맞을 때의 손실은 더 작고 틀릴 때의 손실은 더 큽니다.

1. 멀티모달 학습이란: 종류가 다른 자료를 같이 다루기

이미지, 텍스트, 소리처럼 자료의 종류 하나하나를 모달리티(modality)라고 부릅니다. 종류가 다른 자료를 한 모델에서 같이 다루는 것이 멀티모달 학습(multimodal learning)입니다. 「이 사진을 설명하는 글 고르기」, 「글로 사진 찾기」처럼 두 모달리티를 잇는 일이 여기에 듭니다.

어려운 점은 두 자료의 모양이 전혀 다르다는 것입니다. 이미지는 픽셀의 격자이고 텍스트는 토큰의 줄입니다. 그래서 보통은 모달리티마다 다른 신경망, 곧 인코더(encoder, 자료를 벡터로 바꾸는 부분)를 둡니다. 그런데 두 인코더를 따로 학습하면, 이미지 벡터와 텍스트 벡터는 길이가 같아도 칸의 뜻이 서로 맞지 않아 견줄 수 없습니다. 두 벡터를 같은 공간에 놓도록 같이 학습해야 합니다. 그 방법 하나가 CLIP 입니다.

2. CLIP 의 생각: 인코더 둘, 공간 하나

CLIP 은 인터넷에서 모은 이미지-텍스트 쌍 4억 개로, 「어느 텍스트가 어느 이미지와 짝인가」를 맞히는 과제를 풀며 처음부터 학습한 모델입니다(Radford 외, 2021). 이미지 인코더는 이미지를, 텍스트 인코더는 텍스트를 같은 길이의 벡터, 곧 임베딩(embedding)으로 바꿉니다. 학습은 이 두 벡터가 짝이면 가깝게, 짝이 아니면 멀게 놓이도록 두 인코더를 함께 고칩니다. 가깝게 할 짝을 양성 쌍(positive pair), 멀게 할 나머지를 음성 쌍(negative pair)이라 하고, 이렇게 견주며 배우는 방식을 대조 학습(contrastive learning)이라고 부릅니다.

이미지 빨간 원 텍스트 이미지 인코더 텍스트 인코더 같은 임베딩 공간 짝 아님: 멀게 짝: 가깝게 ● 이미지 벡터 ○ 텍스트 벡터
두 인코더가 각자의 자료를 같은 공간의 벡터로 바꿉니다. 빨간 원 이미지와 텍스트 「빨간 원」은 가깝게, 빨간 원 이미지와 파란 사각형의 텍스트(빈 파란 점)는 멀게 놓이도록 배웁니다. 점의 자리는 모식(실제 측정값 아님)입니다.

논문은 정해진 레이블 집합이 아니라 자연어로 배웠다는 점을 강조합니다. 텍스트로 배웠기 때문에, 배운 시각 개념을 글로 가리키거나 새 개념을 글로 적어 주면 그것으로 다른 과제를 풀 수 있습니다. 이것이 4절의 제로샷 분류입니다.

3. 학습: N × N 유사도 행렬과 대칭 교차 엔트로피

배치(batch)에 이미지-텍스트 쌍이 N 개 있습니다. 이미지 N 개를 이미지 인코더에, 텍스트 N 개를 텍스트 인코더에 넣어 벡터를 얻고, 모든 이미지와 모든 텍스트 사이의 코사인 유사도(cosine similarity, 두 벡터의 방향이 얼마나 같은가)를 재면 N × N 표가 나옵니다. i 번 이미지의 짝은 i 번 텍스트이니 대각선 N 칸이 정답(양성 쌍)이고, 나머지 N² − N 칸이 음성 쌍입니다. 레이블을 따로 붙이지 않아도 배치 안에서 정답이 정해집니다.

그다음은 칸의 유사도를 확률로 바꿔 「맞히기」로 보는 것입니다. 행 i 는 「이미지 i 의 짝은 텍스트 N 개 가운데 무엇인가」, 열 j 는 「텍스트 j 의 짝은 이미지 N 개 가운데 무엇인가」입니다. 두 방향 모두 교차 엔트로피(cross-entropy)로 손실을 내고 평균합니다.

유사도        s_ij = cos(I_i, T_j) = (I_i · T_j) ÷ (‖I_i‖ ‖T_j‖)
행 소프트맥스  p_ij = exp(s_ij / τ) ÷ (exp(s_i1 / τ) + … + exp(s_iN / τ))
열 소프트맥스  q_ij = exp(s_ij / τ) ÷ (exp(s_1j / τ) + … + exp(s_Nj / τ))
행 방향 손실  L_이미지 = −(log p_11 + log p_22 + … + log p_NN) ÷ N
열 방향 손실  L_텍스트 = −(log q_11 + log q_22 + … + log q_NN) ÷ N
손실         L = (L_이미지 + L_텍스트) ÷ 2

온도 τ. 유사도를 작은 τ 로 나누면 칸 사이의 차이가 커져서 소프트맥스가 가장 큰 칸으로 몰립니다(뾰족함). τ 가 크면 확률이 고르게 퍼집니다(평평함). LLM 이 다음 토큰을 고를 때의 온도와 같은 계산입니다(샘플링). 코사인 유사도는 −1 ~ 1 사이라 τ = 1 이면 확률이 거의 고르게 퍼집니다(해 볼 것 ② 의 35%). 그래서 작은 τ 가 필요하고, CLIP 은 이 τ 를 정해 두지 않고 학습으로 정합니다(논문 2.3절. 2.5절은 처음 값을 0.07 로 두었다고 적습니다).

코드로는 몇 줄입니다. 아래는 널리 쓰는 PyTorch 식 의사 코드입니다(논문의 코드를 옮긴 것이 아닙니다).

image_vectors = F.normalize(image_encoder(images), dim=-1)   # N × d, 길이를 1 로
text_vectors = F.normalize(text_encoder(texts), dim=-1)      # N × d
logits = image_vectors @ text_vectors.T / tau                # N × N, 칸 = s_ij / τ
labels = torch.arange(N)                                     # 정답은 대각선: i 번 이미지의 짝은 i 번 텍스트
loss = (F.cross_entropy(logits, labels)                      # 행 방향: 이미지 → 텍스트
        + F.cross_entropy(logits.T, labels)) / 2             # 열 방향: 텍스트 → 이미지

길이를 1 로 맞춘 벡터끼리의 내적은 코사인 유사도와 같습니다. 그래서 행렬 곱 한 번으로 N × N 표 전체가 나옵니다. logits.T 의 행은 원래 표의 열이라, 같은 함수를 한 번 더 부르면 열 방향 손실이 됩니다.

4. 제로샷 분류: 클래스 이름을 문장으로

다 배운 CLIP 으로 이미지를 분류하는 법은 이렇습니다. 레이블이 붙은 예시를 하나도 보여 주지 않고 답하니 제로샷 분류(zero-shot classification)라고 부릅니다.

  1. 문장 만들기. 클래스 이름마다 a photo of a {클래스} 같은 프롬프트 템플릿(prompt template, 문장 틀)에 넣어 문장을 만듭니다.
  2. 벡터로. 문장들을 텍스트 인코더에, 분류할 이미지를 이미지 인코더에 넣습니다.
  3. 견주기. 이미지 벡터와 문장 벡터마다 코사인 유사도를 재고 소프트맥스로 확률을 냅니다. 실험 ① 의 표에서 한 행만 계산하는 것과 같습니다.
  4. 답. 가장 비슷한 문장의 클래스가 답입니다.
클래스와 문장유사도확률

이미지와 문장의 벡터는 실험 ① 처럼 세 칸짜리로 지어낸 값이고 실제 CLIP 이 낸 값이 아닙니다. 온도는 τ = 0.10 으로 두었습니다.

해 볼 것. ① 빨간 원을 고르면 「원」이 유사도 0.99 로 60%, 「하트」가 0.95 로 39% 입니다. 답은 원이지만, 문장 벡터가 비슷한 후보끼리는 확률을 나눠 가집니다. ② 노란 별을 고르면 후보에 별이 없어서 「삼각형」을 89% 로 답합니다. 틀렸는데도 확신이 큽니다. ③ 별을 고른 채 클래스 더하기 단추를 누르면 별이 유사도 1.00, 70% 로 답이 되고 삼각형은 27% 로 내려갑니다. 학습은 한 번도 하지 않았습니다. 초록 삼각형을 고르면 별이 들어온 뒤 삼각형의 확률이 99% 에서 76% 로 줄어듭니다. 후보를 더하면 다른 후보의 확률도 바뀝니다.

새 클래스를 더하는 일은 문장 하나를 더 넣는 일이고, 두 인코더의 가중치는 그대로입니다. 정해진 레이블로 학습한 분류기라면 클래스를 더할 때 그 클래스의 레이블 자료를 모아 다시 학습해야 합니다. 대신 해 볼 것 ② 처럼, 제로샷 분류는 내가 적어 준 후보 가운데서만 고릅니다. 맞는 클래스가 목록에 없으면 가장 가까운 다른 클래스를 답합니다.

논문은 30 개가 넘는 비전 자료 집합(문자 인식(OCR), 비디오의 동작 인식, 사진의 위치 맞히기, 세밀한 분류 등)에서 이 방식을 평가했고, ImageNet 의 제로샷 정확도가 128만 장의 레이블로 학습한 원래의 ResNet-50 과 같은 수준이었다고 보고합니다.

5. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
정해진 레이블로 학습한 분류기그 클래스 목록과 자료에 맞춰 학습한다클래스를 더하려면 레이블 자료를 모아 다시 학습해야 한다클래스가 정해져 있고 레이블이 붙은 자료가 있을 때
CLIP 제로샷 분류클래스 이름을 문장으로 적기만 하면 후보가 된다. 학습이 없다적어 준 후보 밖의 답은 내지 못하고, 틀려도 가장 가까운 후보를 고른다(해 볼 것 ②)레이블 자료가 없거나 클래스가 자주 바뀔 때. 먼저 재 보고 쓴다
CLIP 임베딩으로 찾기이미지와 텍스트가 같은 공간이라, 텍스트로 이미지를 찾고 이미지로 비슷한 이미지를 찾는다벡터를 미리 만들어 두고 가까운 것을 찾는 장치가 따로 필요하다이미지 검색, 이미지에 맞는 설명 고르기

어디에 쓰나

인코더 자리에는 자료를 벡터로 바꾸는 신경망이면 무엇이든 들어갈 수 있습니다. 이미지 쪽은 합성곱 신경망이나 비전 트랜스포머, 텍스트 쪽은 트랜스포머가 그런 예입니다.

자주 묻는 것

CLIP 이 이미지를 만드나요?

아닙니다. CLIP 은 이미지와 텍스트를 각각 벡터로 바꾸고, 두 벡터가 얼마나 비슷한지를 잴 뿐입니다. 그래서 할 수 있는 일은 고르기와 찾기입니다. 이미지를 만드는 일은 디퓨전 같은 생성 모델이 합니다.

제로샷이면 학습을 전혀 하지 않나요?

사전 학습은 합니다. CLIP 은 인터넷에서 모은 이미지-텍스트 쌍 4억 개로 학습했습니다. 제로샷은 지금 풀 과제의 레이블이 붙은 예시를 하나도 보지 않고 답한다는 뜻입니다. 새 클래스는 문장 하나를 더 넣을 뿐이고 가중치는 그대로입니다.

왜 행 방향과 열 방향 두 번 손실을 내나요?

행 방향은 이미지마다 맞는 텍스트를, 열 방향은 텍스트마다 맞는 이미지를 고르게 합니다. 같은 유사도 표여도 소프트맥스로 나누는 합이 행과 열에서 달라 두 값이 다릅니다. 둘을 평균하면 두 방향을 똑같이 봅니다.

낱말

여기서 쓴 말책에서 부르는 말
종류가 다른 자료를 같이 다루기멀티모달 학습(multimodal learning)
자료의 종류(이미지, 텍스트, 소리)모달리티(modality)
자료를 벡터로 바꾸는 신경망인코더(encoder): 이미지 인코더(image encoder), 텍스트 인코더(text encoder)
자료를 바꾼 벡터임베딩(embedding)
가깝게 할 짝 · 멀게 할 나머지양성 쌍(positive pair) · 음성 쌍(negative pair)
짝과 나머지를 견주며 배우기대조 학습(contrastive learning)
두 벡터의 방향이 얼마나 같은가코사인 유사도(cosine similarity)
점수를 합이 1 인 확률로 바꾸기소프트맥스(softmax)
확률을 뾰족하게·평평하게 하는 수온도(temperature)
행 방향과 열 방향 손실의 평균대칭 교차 엔트로피(symmetric cross-entropy)
한 번에 보는 쌍 N 개배치(batch)
예시 없이 클래스 이름만으로 분류제로샷 분류(zero-shot classification)
클래스 이름을 넣는 문장 틀프롬프트 템플릿(prompt template)

출처

← 비전 트랜스포머(ViT)오토인코더와 VAE →