자기지도 학습: 라벨 없이 표현 배우기

사진은 많은데 라벨은 비쌉니다. 자기지도 학습은 사진 자체에서 문제를 만들어 풀게 해서, 라벨 없이 쓸 만한 표현을 먼저 배웁니다. 대조 손실을 한 걸음씩 계산해 보고, 패치를 가려 보세요.

한 줄 답. 자기지도 학습(self-supervised learning)은 라벨 대신 자료 자체에서 만든 문제(프리텍스트 과제)를 풀며 인코더를 사전 학습하고, 그 표현을 다른 일에 옮겨 씁니다. 대표적인 문제는 둘입니다. 대조 학습은 같은 사진의 두 증강을 가깝게, 다른 사진을 멀게 놓고(SimCLR, MoCo), 마스크드 오토인코더는 패치의 많은 부분을 가리고 가린 픽셀을 되살립니다(MAE).

1. 왜: 라벨은 비싸고 라벨 없는 사진은 많다

분류기를 지도 학습으로 만들려면 사진마다 사람이 정답(라벨)을 달아야 합니다. 라벨은 돈과 시간이 들고, 라벨 없는 사진은 훨씬 많습니다. 자기지도 학습(self-supervised learning)은 정답을 사람에게서 받지 않고 자료 자체에서 만듭니다. 「같은 사진에서 나온 둘을 짝지어라」, 「가린 곳을 채워라」 같은 문제입니다. 이렇게 표현을 배우려고 일부러 내는 연습 문제를 프리텍스트 과제(pretext task)라고 부릅니다.

연습 문제를 잘 풀려면 인코더가 사진에서 쓸모 있는 특징을 뽑아야 합니다. 그 인코더의 출력이 표현(representation)입니다. 진짜 하려던 일(분류, 탐지 같은 다운스트림 과제)에는 이 표현을 적은 라벨로 옮겨 씁니다.

① 사전 학습(pre-training)   라벨 없는 사진 많이 + 프리텍스트 과제 → 인코더
② 옮겨 쓰기                 라벨 있는 사진 조금으로
     선형 평가: 인코더는 동결, 그 위의 선형 분류기 하나만 학습(7절)
     미세 조정(fine-tuning): 인코더까지 함께 조금 더 학습

② 의 두 길은 전이 학습과 미세 조정에서 자세히 다룹니다. 글에서도 같은 생각을 씁니다. LLM 의 사전 학습은 글의 다음 토큰을 맞히는 문제를 글 자체에서 만듭니다(LLM 은 어떻게 학습하나).

2. 대조 학습: 포지티브는 가깝게, 네거티브는 멀게

대조 학습(contrastive learning)은 「비교해서 배우기」입니다. 사진 한 장을 두 번 다르게 데이터 증강(자르기, 색 바꾸기 등)하면 겉모습은 달라도 같은 사진에서 나온 둘입니다. 이 둘을 포지티브 쌍(positive pair), 배치 안의 다른 사진에서 나온 것을 네거티브(negative)라고 합니다. 기준으로 삼은 하나는 앵커(anchor)입니다. 인코더는 앵커와 포지티브의 임베딩은 가깝게, 네거티브는 멀게 놓이도록 배웁니다.

「가깝다」는 코사인 유사도로 잽니다. 앵커와 나머지 모든 임베딩의 유사도를 온도로 나눠 소프트맥스를 씌우면, 「이 가운데 어느 것이 앵커의 짝인가」를 맞히는 분류 문제가 됩니다. 손실은 포지티브에 준 확률의 −log 입니다. 이 꼴을 InfoNCE 라고 부르고, SimCLR 은 NT-Xent 라는 이름을 씁니다. 아래는 널리 쓰는 꼴입니다.

sim(u, v) = (u · v) ÷ (‖u‖ ‖v‖)
ℓ(a) = −log [ exp(sim(z_a, z_p) ÷ τ)  ÷  Σ_{k ≠ a} exp(sim(z_a, z_k) ÷ τ) ]

꼴은 정답 칸이 「포지티브」인 분류의 교차 엔트로피와 같습니다. 아래 실험에서 앵커 하나의 손실을 한 걸음씩 계산해 보세요.

앵커
온도배치

임베딩유사도÷ τ확률

화살표는 지어낸 2차원 임베딩 8 개입니다(모식도, 실제 측정값 아님). 색이 같은 둘이 같은 사진(A ~ D)의 두 증강입니다. 굵은 화살표와 주황 고리가 앵커이고, 표의 굵은 줄이 포지티브입니다. 「배치」는 사진 수 N 이고, 2 장이면 사진 A, B 만 씁니다. 실제 임베딩은 차원이 훨씬 많지만 계산은 같습니다.

해 볼 것. ① 처음 그대로(앵커 A1, τ = 0.5, 사진 4 장) 「다음」을 네 번 누르면: 포지티브 A2 의 유사도는 0.93, 가장 높은 네거티브는 B2 의 0.46(D2 도 0.45)입니다. τ 로 나누면 1.86 과 0.92, 소프트맥스 뒤 A2 의 확률은 0.47, 손실은 0.76 입니다. ② τ 를 0.1 로 바꾸면 A2 의 확률이 0.98, 손실이 0.02 로 떨어지고, τ = 1 이면 확률 0.3, 손실 1.21 입니다. 유사도는 그대로인데 온도만으로 손실이 이만큼 달라집니다. ③ τ = 0.5 로 두고 배치를 2, 3, 4 장으로 바꾸면 네거티브가 2, 4, 6 개, 손실이 0.45, 0.48, 0.76 입니다. 3 장에서 조금만 오르는 것은 새로 든 C1, C2 가 A1 과 거의 반대 방향이라(유사도 −0.99, −0.83) 확률을 0.01 씩만 가져가서입니다.

PyTorch 로는 배치 전체를 한 번에 셉니다. 임베딩을 길이 1 로 맞추면 내적이 곧 코사인 유사도이고, 자기 자신을 분모에서 빼면 위의 식과 같습니다.

import torch
import torch.nn.functional as F

def info_nce(z1, z2, tau=0.5):                       # z1, z2: 같은 사진 N 장의 두 증강, 모양 (N, d)
    z = F.normalize(torch.cat([z1, z2]), dim=1)      # 2N 개를 길이 1 로: 내적 = 코사인 유사도
    logits = z @ z.T / tau                           # (2N, 2N) 유사도 ÷ 온도
    logits.fill_diagonal_(float("-inf"))             # 앵커 자신은 분모에서 뺀다
    n = z1.shape[0]
    target = torch.cat([torch.arange(n, 2 * n), torch.arange(0, n)])   # i 번의 포지티브는 i ± N 번
    return F.cross_entropy(logits, target)           # −log(포지티브의 확률)의 평균

3. SimCLR: 증강, 프로젝션 헤드, 큰 배치

SimCLR(Chen 외, 2020)은 위의 대조 학습을 단순하게 짠 틀입니다. 논문은 특별한 구조나 메모리 뱅크가 필요 없다고 적고, 무엇이 중요한지 셋을 꼽습니다.

사진 x 증강 t증강 t′ 인코더 f인코더 f h₁h₂ 헤드 g헤드 g z₁z₂ 대조 손실 같은 가중치같은 가중치 ↑ 다른 일에 옮겨 쓰는 표현
SimCLR 의 흐름. 같은 사진을 두 번 다르게 증강해 같은 인코더 f 와 같은 프로젝션 헤드 g 에 넣습니다. 손실은 z 에서 재고, 옮겨 쓰는 것은 헤드 앞의 h 입니다.

결과. 이렇게 배운 표현 위에 선형 분류기만 학습해 ImageNet top-1 정확도 76.5% 를 냈고, 이는 지도 학습한 ResNet-50 과 같은 수준입니다. 라벨을 1% 만 써서 미세 조정하면 top-5 정확도가 85.8% 였습니다. top-1 은 모델의 첫째 답이 맞은 비율, top-5 는 다섯 후보 안에 정답이 든 비율입니다.

4. MoCo: 큰 배치 대신 큐와 모멘텀 인코더

네거티브를 배치에서만 얻으면 네거티브를 늘리려고 배치를 키워야 합니다. MoCo(He 외, 2019)는 대조 학습을 사전(dictionary) 찾기로 봅니다. 앵커 쪽 임베딩을 쿼리(query), 비교할 임베딩들을 키(key)라 부르고, 쿼리는 사전의 키들 가운데 자기 짝인 키 하나와 가까워야 합니다. 논문은 크고 일관된 사전을 그때그때 만드는 장치 둘을 둡니다.

θ_k ← m · θ_k + (1 − m) · θ_q
사진 쿼리 인코더모멘텀 인코더 대조 손실 qk₊ 이동 평균 쿼리 포지티브 네거티브 넣기 빼기 큐: 지난 배치들의 키
MoCo 의 흐름. 네거티브는 배치가 아니라 큐에서 옵니다. 점선은 「모멘텀 인코더의 가중치가 쿼리 인코더를 이동 평균으로 따라간다」는 뜻이고, 학습 신호가 흐르는 길은 아닙니다.

결과. MoCo 로 배운 표현은 PASCAL VOC, COCO 등의 탐지·분할 7 개 과제에서 지도 사전 학습을 앞섰습니다.

5. 마스크드 오토인코더(MAE): 가리고 되살리기

MAE(He 외, 2021)는 다른 문제를 냅니다. 사진을 비전 트랜스포머처럼 패치로 나누고, 무작위로 많은 패치를 가린 뒤 가린 픽셀을 되살리게 합니다. 틀은 오토인코더(줄였다가 다시 만드는 모델)이지만 둘이 다릅니다.

마스킹 비율

그림은 지어낸 32 × 32 픽셀이고, 4 × 4 픽셀이 패치 하나입니다. 오른쪽은 되살린 결과가 아니라 정답(가린 곳의 원래 픽셀)입니다. 이 쪽은 모델을 학습시키지 않아서 되살린 그림이 없습니다. 가리는 자리는 고정 씨앗 난수기로 뽑아 쪽을 열 때마다 같고, 「다시 뽑기」를 누를 때만 바뀝니다.

해 볼 것. ① 처음 그대로(75%) 64 개 가운데 48 개가 가려지고, 인코더는 16 개(25%)만 받습니다. 디코더는 16 개와 마스크 토큰 48 개, 모두 64 개를 받습니다. ② 「다시 뽑기」를 누르면 가린 자리는 바뀌어도 수는 그대로입니다. ③ 25% 로 바꾸면 인코더가 48 개를 받고, 90% 면 6 개만 받습니다(64 × 0.1 = 6.4 를 반올림).

결과. 논문은 ViT-Huge 가 ImageNet-1K 만 써서 정확도 87.8% 를 냈다고 적습니다.

6. 대조 방식과 가리기 방식: 언제 무엇을 쓰나

SimCLRMoCoMAE
무엇을 맞히나배치 안에서 어느 것이 앵커의 포지티브인가사전(큐)의 키 가운데 어느 것이 쿼리의 짝인가가린 패치의 원래 픽셀
네거티브가 필요한가예. 배치 안의 다른 사진예. 큐에 쌓인 지난 키아니요. 되살리기라 비교할 상대가 없다
무엇에 민감한가증강의 조합, 배치 크기사전의 크기와 일관성(모멘텀 인코더가 천천히 바뀌는가)마스킹 비율
좋은 점특별한 구조나 메모리 뱅크가 필요 없다배치를 키우지 않아도 사전이 크다. 탐지·분할로 옮길 때 지도 사전 학습을 앞섰다인코더가 보이는 패치만 처리해 학습이 빠르다(3 배 이상)
나쁜 점네거티브를 늘리려면 배치를 키워야 한다인코더를 둘(쿼리·키) 두고 큐를 관리해야 한다사진을 패치로 나누는 구조를 전제한다
쓰는 경우큰 배치를 돌릴 수 있을 때배치를 크게 못 키울 때비전 트랜스포머를 사전 학습할 때

어느 쪽이 나은지는 정해진 답이 없습니다. 다운스트림 과제에 붙여 선형 평가나 미세 조정으로 재서 고릅니다.

7. 어떻게 평가하나: 선형 평가

라벨 없이 배운 표현이 좋은지는 라벨이 있는 일에 붙여 봐야 압니다. 흔한 재기가 선형 평가(linear evaluation)입니다. 사전 학습한 인코더를 동결(가중치를 더 바꾸지 않음)하고, 그 위에 선형 분류기 하나만 라벨로 학습합니다. 선형 분류기는 특징을 섞어 새 특징을 만들지 못하니, 정확도가 높으면 인코더의 표현이 이미 무리를 잘 갈라 놓았다는 뜻입니다.

encoder.requires_grad_(False)                       # 인코더 동결
encoder.eval()
classifier = torch.nn.Linear(dim, num_classes)      # 이것만 학습
optimizer = torch.optim.SGD(classifier.parameters(), lr=0.1)
for images, labels in loader:
    with torch.no_grad():
        h = encoder(images)                         # 표현(프로젝션 헤드 앞)
    loss = F.cross_entropy(classifier(h), labels)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

SimCLR 의 76.5% 가 이 방식으로 잰 숫자입니다. 인코더까지 함께 학습하는 미세 조정으로 재기도 합니다(SimCLR 의 라벨 1% 결과). 동결과 미세 조정의 차이는 전이 학습 쪽에 있습니다. 학습이 끝난 인코더의 출력은 그대로 임베딩으로 쓸 수 있고, 문장 임베딩 모델도 대조 학습으로 배웁니다.

자주 묻는 것

자기지도 학습은 비지도 학습과 같은 건가요?

사람이 라벨을 달지 않는다는 점에서 비지도 학습의 한 갈래로 부르기도 합니다. MoCo 논문의 제목도 「비지도 시각 표현 학습」입니다. 다른 점은 정답을 자료에서 만들어, 지도 학습처럼 손실을 재며 배운다는 것입니다. 대조 학습은 「어느 것이 짝인가」를, 마스크드 오토인코더는 「가린 픽셀이 무엇인가」를 맞힙니다.

온도 τ 는 무엇을 하나요?

유사도를 소프트맥스에 넣기 전에 τ 로 나눕니다. τ 가 작으면 유사도의 차이가 벌어져 확률이 가장 큰 값에 몰리고, 크면 고르게 퍼집니다. 이 쪽의 실험에서 같은 임베딩으로 τ 를 0.1, 0.5, 1 로 바꾸면 손실이 0.02, 0.76, 1.21 이었습니다. 포지티브보다 유사도가 높은 네거티브가 있으면 반대로 τ 가 작을수록 손실이 크게 벌어집니다.

배치를 크게 못 쓰면 대조 학습을 못 하나요?

SimCLR 처럼 네거티브를 배치 안에서만 얻으면 배치가 작을 때 네거티브가 적습니다. MoCo 는 지난 배치들의 키를 큐에 쌓아 네거티브로 쓰고, 키를 만드는 인코더를 이동 평균으로 천천히 바꿔 큐 안의 키가 일관되게 남게 합니다. 네거티브가 필요 없는 마스크드 오토인코더도 있습니다.

낱말

여기서 쓴 말의 풀이책에서 부르는 말
라벨 없이 자료에서 만든 문제로 배우기자기지도 학습(self-supervised learning, SSL)
표현을 배우려고 일부러 내는 연습 문제프리텍스트 과제(pretext task)
진짜 하려던 일다운스트림 과제(downstream task)
먼저 크게 배우기 · 맞춰 더 배우기사전 학습(pre-training) · 미세 조정(fine-tuning)
인코더가 뽑은 특징표현(representation), 임베딩(embedding)
비교해서 배우기대조 학습(contrastive learning)
기준 하나 · 같은 사진의 다른 증강 · 다른 사진앵커(anchor) · 포지티브(positive) · 네거티브(negative)
방향이 같은 정도코사인 유사도(cosine similarity)
유사도를 나누는 수 τ온도(temperature)
포지티브에 준 확률의 −logInfoNCE, NT-Xent(normalized temperature-scaled cross entropy)
표현과 손실 사이의 작은 망 g프로젝션 헤드(projection head)
지난 배치의 키를 쌓는 줄 · 천천히 따라가는 키 인코더큐(queue), 사전(dictionary) · 모멘텀 인코더(momentum encoder)
가리고 되살리기마스크드 오토인코더(masked autoencoder, MAE)
가리는 몫 · 가린 자리를 뜻하는 벡터마스킹 비율(masking ratio) · 마스크 토큰(mask token)
인코더를 동결하고 선형 분류기만 학습선형 평가(linear evaluation), 선형 프로빙(linear probing)

출처

← 전이 학습과 미세 조정메트릭 러닝: 거리를 학습하기 →