전이 학습과 미세 조정: 이미 배운 모델에서 출발하기

그림 분류 모델을 만든다고 합시다. 사진이 수백 장뿐이면 처음부터 학습해서는 잘 안 됩니다. 대신 수많은 사진으로 이미 학습한 모델을 가져와 마지막 부분만 내 과제에 맞춥니다. 이미 배운 특징 위에 숫자 3개만 맞추는 것과 처음부터 9개를 다 맞추는 것을 자료 수를 바꿔 가며 견줘 보세요.

한 줄 답. 전이 학습은 다른 과제에서 이미 배운 모델을 출발점으로 쓰는 일입니다. 신경망의 앞쪽 층은 여러 과제에 두루 쓰이는 일반적인 특징을, 뒤쪽 층은 원래 과제에 특화된 특징을 배우기 때문에 앞쪽은 그대로 두고(동결하고) 뒤쪽만 새로 맞춥니다. 자료가 적고 원래 과제와 닮았으면 헤드만, 자료가 많으면 전체를 작은 학습률로 미세 조정합니다.

작게 줄인 본보기입니다. 진짜 사전 학습 모델은 숫자가 수백만 개이고 큰 자료로 배우지만, 여기의 「사전 학습한 백본」은 두 방향(20°, 110°)을 손으로 정해 두고 원래 과제에서 배웠다고 칩니다. 새 과제의 정답은 두 방향이 만드는 모서리 안쪽이 A 입니다. 두 모델 모두 같은 신경망(입력 2 → 특징 2 → 답 1)이고, 같은 경사 하강법(1500 걸음, 학습률 0.5)으로 학습합니다. 다른 것은 출발점뿐입니다. 왼쪽은 백본을 동결하고 헤드 숫자 3개만, 오른쪽은 난수에서 출발해 9개를 모두 학습합니다. 점은 고정 씨앗으로 지어낸 것이고, 자료 수를 늘리면 같은 100개에서 앞의 n 개를 씁니다.

해 볼 것. ① 처음(자료 10개)은 헤드만 96%, 처음부터 80.5% 입니다. 오른쪽 판의 보라 점선(스스로 찾은 두 방향)이 정답 모서리와 어긋나 있습니다. ② 20개로 늘리면 99% 와 86.3% 입니다. ③ 100개까지 늘리면 100% 와 98.5% 로 차이가 1.5%p 만 남습니다. 자료가 많으면 처음부터 배워도 거의 따라옵니다. ④ 처음부터 쪽은 곧게 오르지 않습니다. 40개에서 98% 였다가 45개에서 95%, 60개에서 95.3% 로 내려갑니다. 백본까지 함께 찾느라 결과가 자료에 따라 흔들립니다. ⑤ 5개로 줄이면 75.8% 와 74% 로 둘 다 잘 못합니다. 5개 가운데 4개가 A 라 B 쪽 경계를 알려 줄 점이 거의 없습니다.

1. 전이 학습이란: 앞쪽은 일반, 뒤쪽은 특화

신경망은 층을 지날 때마다 입력을 새 숫자(특징)로 바꿉니다. 그림을 학습한 신경망을 열어 보면, 첫 층은 어느 그림 자료로 학습해도 비슷한 단순한 무늬(줄무늬, 색 덩어리)를 배웁니다. 층이 깊어질수록 특징은 그 자료와 과제에 맞춰집니다. 그래서 「고양이·개·자동차를 가르는 모델」의 앞쪽 층은 「불량 부품을 가르는 과제」에도 쓸모가 있고, 마지막 층(헤드(head))만 원래 과제의 부류에 묶여 있습니다.

전이 학습은 이것을 이용합니다. 큰 자료로 미리 학습한 모델(사전 학습 모델)을 가져와, 헤드를 새 과제의 부류 수에 맞게 바꾸고, 내 자료로 조금 더 학습합니다. 헤드를 뺀 앞부분을 백본(backbone)이라고 부릅니다. 백본이 바뀌지 않게 막는 것을 동결(freeze)한다고 하고, 다시 학습하게 두는 것을 동결 해제(unfreeze)한다고 합니다.

위 실험의 백본은 두 방향을 이미 압니다. 새 과제의 정답이 그 두 방향으로 쉽게 적힐 때(원래 과제와 닮았을 때), 헤드는 「두 특징을 얼마씩 더하나」만 정하면 됩니다. 처음부터 배우는 모델은 두 방향까지 자료에서 찾아야 해서 자료가 더 필요합니다.

2. 세 가지 방식

방식동결하는 것학습하는 것3절 본보기에서 학습 가능한 파라미터 수특징
특징 추출(feature extraction, 헤드만 학습)백본 전부새 헤드645 (1.1%)가장 싸고 빠르다. 자료가 적어도 과적합이 덜하다. 백본의 출력을 한 번 계산해 저장해 두고 헤드만 여러 번 학습할 수도 있다. 백본의 특징이 새 과제에 안 맞으면 더 나아지지 않는다
일부 층 동결 해제앞쪽 블록뒤쪽 블록 + 헤드33,669 (57.6%)원래 과제에 특화된 뒤쪽 층만 새 과제에 맞춘다. 어디까지 동결 해제할지 정해야 한다
전체 미세 조정없음모든 층58,501 (100%)성능을 가장 끌어올릴 수 있다. 메모리와 계산이 가장 많이 들고, 자료가 적으면 과적합하고, 원래 배운 것을 잊기 쉽다(7절)

세 방식 모두 출발점은 사전 학습한 가중치입니다. 처음부터 학습은 같은 신경망을 난수에서 출발시키는 것이고, 위 실험의 오른쪽 판이 그것입니다.

3. 식이 만들어지는 과정: 학습 가능한 파라미터 수 세기

동결하면 무엇이 줄어드는지 숫자로 봅니다. 본보기는 입력 64 개 → 층1 ~ 층4(각 출력 128) → 새 헤드(부류 5)인 작은 신경망입니다. 그림의 사각형 하나가 층 하나의 가중치 격자(가로 입력 수, 세로 출력 수)입니다.

  1. 층 하나: 입력 수 × 출력 수 + 출력 수. 입력과 출력을 잇는 선마다 가중치가 하나, 출력마다 편향이 하나입니다. 층2 는 128 × 128 + 128 = 16,512, 층1 은 64 × 128 + 128 = 8,320, 헤드는 128 × 5 + 5 = 645.
  2. 전체 미세 조정: Σ(…). 모든 층을 더합니다. 8,320 + 16,512 × 3 + 645 = 58,501. 이것이 학습 가능한 파라미터 수이자 모델 전체의 숫자입니다.
  3. 앞쪽 블록 동결: Σ동결 해제된 층(…). 층1, 층2 를 동결하면 Σ 에서 빠집니다. 16,512 × 2 + 645 = 33,669, 전체의 57.6%. 까닭: 동결한 층은 기울기(그래디언트)로 고치지 않으니 셀 필요가 없습니다.
  4. 헤드만: 학습 가능한 파라미터 수 = Σ동결 해제된 층(입력 수 × 출력 수 + 출력 수). 층1 ~ 층4 를 모두 동결하면 645 개, 전체의 1.1% 입니다.

학습 가능한 파라미터 수가 줄면 아끼는 것이 셋입니다. 고칠 숫자마다 들고 있어야 하는 기울기가 줄고, Adam 같은 최적화기가 숫자마다 따로 쌓아 두는 값(Adam 은 둘)도 줄고, 앞쪽이 모두 동결되어 있으면 역전파를 동결한 층 앞에서 멈출 수 있습니다. 동결한 층도 앞으로 가는 계산(예측)은 그대로 합니다.

해 볼 것. 「다음」을 세 번 눌러 보세요. 맨 아래 숫자가 58,501(100%) → 33,669(57.6%) → 645(1.1%) 로 줄고, 회색 사각형이 왼쪽부터 늘어납니다. 헤드는 그림에서 가장 얇은 줄입니다. 실험 ① 도 같은 셈입니다. 백본(가중치 4, 편향 2)과 헤드(3)를 합쳐 9개, 백본을 동결하면 3개입니다.

4. 손으로 따라가기: 헤드를 한 걸음 학습하기

실험 ① 의 첫 학습 점 x = (0.07, 0.18), 정답 A 하나로 헤드를 한 걸음 학습해 봅니다. 백본은 동결해 두었고, 헤드는 (a₁, a₂, b) = (0, 0, 0) 에서 출발합니다. 헤드가 하는 일은 로지스틱 회귀와 같습니다.

  1. 특징 1. 방향 20° 는 (cos 20°, sin 20°) ≈ (0.94, 0.34). 0.94 × 0.07 + 0.34 × 0.18 + 0.5 ≈ 0.627, 여기에 1.5 를 곱해 tanh(0.94) ≈ 0.735.
  2. 특징 2. 방향 110° 는 ≈ (−0.34, 0.94). −0.34 × 0.07 + 0.94 × 0.18 + 0.5 ≈ 0.645, tanh(1.5 × 0.645) ≈ 0.748.
  3. 예측. z = 0 × 0.735 + 0 × 0.748 + 0 = 0, p = 시그모이드(0) = 0.5. 아직 아무것도 모릅니다.
  4. 기울기. 교차 엔트로피를 z 로 미분하면 p − 정답 = 0.5 − 1 = −0.5. 헤드 숫자마다 여기에 그 숫자가 곱하는 값을 곱합니다: (−0.5 × 0.735, −0.5 × 0.748, −0.5) ≈ (−0.368, −0.374, −0.5).
  5. 한 걸음. 학습률 0.5 로 기울기 반대쪽으로: (a₁, a₂, b) = (0.184, 0.187, 0.25). 다시 재면 z ≈ 0.184 × 0.735 + 0.187 × 0.748 + 0.25 ≈ 0.525, p ≈ 0.628. A 쪽으로 움직였습니다.

실험은 이 걸음을 학습 자료 n 개의 기울기 평균으로 1500 번 합니다. 백본을 동결했으니 특징 0.735, 0.748 은 학습 내내 그대로입니다. 그래서 헤드만 학습할 때는 백본의 출력을 한 번만 계산해 저장해 두어도 됩니다.

5. 층별 학습률

백본을 동결 해제해도 모든 층을 같은 걸음으로 고치지는 않습니다. 새로 만든 헤드는 난수에서 출발해 많이 움직여야 하고, 사전 학습한 층은 이미 쓸 만하니 조금만 움직여야 합니다. 그래서 사전 학습한 층의 학습률을 헤드보다 작게 둡니다(CS231n). 앞쪽 층일수록 일반적인 특징이라 덜 고칩니다.

ULMFiT 논문은 이것을 층마다 다른 학습률(discriminative fine-tuning)로 정리했습니다. 마지막 층만 학습해 보며 그 층의 학습률을 먼저 정하고, 한 층 아래로 갈 때마다 2.6 으로 나눴습니다. 헤드가 0.001 이면 그 아래 층은 0.001 ÷ 2.6 ≈ 0.000385, 또 그 아래는 ≈ 0.000148 입니다. 2.6 은 그 논문이 실험해서 고른 숫자이고, 다른 모델에서는 다시 골라야 합니다.

# PyTorch: 백본을 동결하고 헤드를 새 과제의 부류 수(5)에 맞춰 바꾼다
for p in model.parameters():
    p.requires_grad = False                                   # 동결
model.fc = torch.nn.Linear(model.fc.in_features, 5)          # 새 헤드는 학습한다

# 뒤쪽 블록(layer4)도 동결 해제했다면: 묶음마다 학습률을 따로 준다
for p in model.layer4.parameters():
    p.requires_grad = True
optimizer = torch.optim.SGD([
    {"params": model.layer4.parameters(), "lr": 1e-4},       # 사전 학습한 층: 작게
    {"params": model.fc.parameters(), "lr": 1e-3},           # 새 헤드: 크게
], momentum=0.9)

흔히 쓰는 순서는 헤드를 먼저 학습해 자리를 잡은 뒤 백본을 동결 해제하는 것입니다. 난수로 시작한 헤드가 처음에 내는 큰 기울기가 백본으로 흘러가 사전 학습한 특징을 흔들지 않게 하려는 것입니다. ULMFiT 는 한 걸음 더 나아가 마지막 층부터 한 층씩 차례로 동결 해제합니다(gradual unfreezing).

두 방법을 합쳐, 헤드에서 k 층 아래에 있는 층의 학습률은 이렇습니다.

ηk = η0 ÷ 2.6k

초록 막대 = 동결 해제된 층의 학습률(길이가 값에 비례), 잠긴 회색 자물쇠 = 동결한 층(학습률 0), 주황 = 이번 걸음에 동결 해제된 층. 주황 화살표는 위 층의 학습률을 2.6 으로 나눠 받는 것을 가리킵니다.

6. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
헤드만 학습(특징 추출)싸고 빠르다. 자료가 적어도 된다. 백본의 출력을 저장해 두고 재사용할 수 있다백본의 특징이 새 과제에 안 맞으면 한계가 있다자료가 적고 원래 과제와 닮았을 때. 어느 경우든 먼저 해 볼 기준선
일부 층 동결 해제특화된 뒤쪽만 새 과제에 맞춘다. 비용이 중간이다어디까지 동결 해제할지 골라야 한다. 동결 해제한 만큼 과적합 위험이 커진다자료가 중간쯤이거나 원래 과제와 조금 다를 때
전체 미세 조정성능을 가장 많이 끌어올릴 수 있다메모리·계산이 많다. 과제마다 모델 전체를 따로 저장한다. 자료가 적으면 과적합, 원래 배운 것을 잊기 쉽다자료가 많을 때. 작은 학습률로
처음부터 학습사전 학습 모델의 구조에 묶이지 않는다자료와 계산이 가장 많이 든다맞는 사전 학습 모델이 없을 때, 구조를 크게 바꿔야 할 때
LoRA원래 가중치는 동결하고 옆에 붙인 작은 행렬만 학습한다. 학습 가능한 파라미터 수와 저장할 것이 작다전체 미세 조정만큼 바꾸지 못할 수 있다큰 모델(LLM)을 내 자료에 맞출 때
프롬프트만 쓰기학습이 없다. 바로 고칠 수 있다부를 때마다 입력이 길어진다. 넣을 수 있는 예시 수에 한계가 있다지시와 예시 몇 개로 될 때. LLM 에서 가장 먼저 해 볼 것

자료 양과 원래 과제와 닮은 정도로 고르면 이렇습니다(CS231n 의 네 경우를 옮긴 것).

원래 과제와 닮음원래 과제와 다름
자료 적음헤드만 학습. 미세 조정은 과적합하기 쉽다. 뒤쪽 특징까지 새 과제에 쓸모가 있다어렵다. 헤드만 학습하되 더 앞쪽 층의 출력에 헤드를 단다. 뒤쪽 층은 원래 과제에 특화되어 덜 맞는다
자료 많음전체(또는 뒤쪽 여러 층) 미세 조정. 자료가 많아 과적합 걱정이 적다처음부터도 되지만, 사전 학습 가중치로 시작해 전체를 미세 조정하는 쪽이 자주 낫다

7. 파국적 망각: 새것을 배우며 옛것을 잊는다

신경망을 새 과제로 계속 학습하면, 원래 과제를 하던 가중치가 새 과제 쪽으로 옮겨 가 원래 과제를 못 하게 됩니다. 이것을 파국적 망각이라고 부릅니다. 사람처럼 조금씩 흐려지는 것이 아니라, 같은 숫자를 덮어써서 생깁니다. ULMFiT 논문은 언어 모델을 분류기와 함께 미세 조정하면 망각이 생긴다고 적고, 층마다 다른 학습률과 점진적 동결 해제를 그 대책으로 내놓았습니다.

8. LLM 에서: 사전 학습 → 미세 조정 → LoRA → 프롬프트만

큰 언어 모델에도 같은 생각이 사다리처럼 놓입니다. 아래로 갈수록 바꾸는 숫자가 적고 싸집니다.

  1. 사전 학습. 아주 많은 글로 다음 낱말 맞히기를 학습해 백본을 만듭니다. 비용이 가장 커서 대개 모델을 만드는 곳이 합니다. 우리가 가져다 쓰는 출발점입니다.
  2. 미세 조정. 내 자료(질문과 좋은 답의 쌍 등)로 모든 가중치를 더 학습합니다. 3절처럼 학습 가능한 파라미터 수가 모델 전체라 메모리가 많이 들고, 과제마다 모델 전체를 따로 저장합니다.
  3. LoRA. 가중치는 동결하고, 층 옆에 작은 행렬 둘을 붙여 그것만 학습합니다. 3절의 「헤드만」처럼 학습 가능한 파라미터 수가 크게 줄고, 저장할 것도 그 작은 행렬뿐입니다.
  4. 프롬프트만 쓰기. 가중치를 하나도 바꾸지 않고, 지시와 예시 몇 개를 입력에 넣어 원하는 일을 하게 합니다(문맥 안 학습). 학습은 없지만 부를 때마다 그 글이 같이 들어갑니다.

보통은 아래에서 위로 시도합니다. 프롬프트로 안 되면 LoRA, 그래도 안 되고 자료와 계산이 넉넉하면 전체 미세 조정입니다. 문서를 찾아 붙이는 방법(임베딩 검색)은 가중치를 바꾸지 않고 지식을 더하는 다른 길입니다.

어디에 쓰나

자주 묻는 것

전이 학습과 미세 조정은 같은 말인가요?

전이 학습이 더 넓은 말입니다. 한 과제에서 배운 것을 다른 과제에 쓰는 일 전부를 전이 학습이라고 합니다. 미세 조정은 그 가운데 한 방법으로, 사전 학습한 가중치에서 출발해 새 자료로 더 학습하는 것입니다. 백본을 동결하고 헤드만 학습하는 특징 추출도 전이 학습이지만, 백본의 가중치는 바꾸지 않습니다.

미세 조정할 때 학습률은 얼마로 하나요?

정해진 숫자는 없고 검증 자료로 골라야 합니다. 방향은 정해져 있습니다. 사전 학습한 층은 새로 만든 헤드보다 작은 학습률로 고칩니다. 이미 쓸 만한 가중치를 크게 흔들지 않으려는 것입니다. ULMFiT 논문은 마지막 층의 학습률을 먼저 정하고, 한 층 아래로 갈 때마다 2.6 으로 나눈 값을 썼습니다.

자료가 많으면 처음부터 학습하는 것이 낫지 않나요?

그럴 수도 있지만 대개는 사전 학습한 가중치에서 출발하는 쪽이 낫거나 비슷합니다. CS231n 강의 노트는 자료가 많고 원래 과제와 아주 달라도 실제로는 사전 학습한 가중치로 시작해 전체를 미세 조정하는 것이 자주 도움이 된다고 적습니다. 위 실험에서도 자료 100개에서 처음부터 학습한 쪽은 98.5% 로 거의 따라오지만, 헤드만 맞춘 쪽(100%)을 넘지는 못합니다.

낱말

여기서 쓴 말책에서 부르는 말
이미 배운 모델을 출발점으로 쓰기전이 학습(transfer learning)
큰 자료로 미리 학습하기, 그렇게 만든 모델사전 학습(pre-training), 사전 학습 모델(pretrained model)
사전 학습한 가중치에서 출발해 더 학습하기미세 조정(fine-tuning)
특징을 뽑는 앞부분, 답을 내는 마지막 층백본(backbone), 헤드(head). 헤드는 분류기(classifier)라고도 한다
백본을 동결하고 헤드만 학습하기특징 추출(feature extraction), 선형 탐침(linear probing)
층을 학습에서 빼기, 다시 넣기동결(freezing), 동결 해제(unfreezing)
층마다 다른 학습률차등 미세 조정(discriminative fine-tuning), 층별 학습률(layer-wise learning rate)
마지막 층부터 하나씩 다시 학습에 넣기점진적 동결 해제(gradual unfreezing)
학습으로 바뀌는 숫자의 수학습 가능한 파라미터(trainable parameters)
새것을 배우며 옛것을 잊기파국적 망각(catastrophic forgetting)
중요한 가중치를 덜 움직이기EWC(elastic weight consolidation)
프롬프트만 쓰기문맥 안 학습(in-context learning), 퓨샷 프롬프팅(few-shot prompting)
원래 과제와 새 과제원천 과제(source task), 목표 과제(target task)

출처

← 데이터 증강자기지도 학습: 라벨 없이 표현 배우기 →