전이 학습과 미세 조정: 이미 배운 모델에서 출발하기
그림 분류 모델을 만든다고 합시다. 사진이 수백 장뿐이면 처음부터 학습해서는 잘 안 됩니다. 대신 수많은 사진으로 이미 학습한 모델을 가져와 마지막 부분만 내 과제에 맞춥니다. 이미 배운 특징 위에 숫자 3개만 맞추는 것과 처음부터 9개를 다 맞추는 것을 자료 수를 바꿔 가며 견줘 보세요.
한 줄 답. 전이 학습은 다른 과제에서 이미 배운 모델을 출발점으로 쓰는 일입니다. 신경망의 앞쪽 층은 여러 과제에 두루 쓰이는 일반적인 특징을, 뒤쪽 층은 원래 과제에 특화된 특징을 배우기 때문에 앞쪽은 그대로 두고(동결하고) 뒤쪽만 새로 맞춥니다. 자료가 적고 원래 과제와 닮았으면 헤드만, 자료가 많으면 전체를 작은 학습률로 미세 조정합니다.
작게 줄인 본보기입니다. 진짜 사전 학습 모델은 숫자가 수백만 개이고 큰 자료로 배우지만, 여기의 「사전 학습한 백본」은 두 방향(20°, 110°)을 손으로 정해 두고 원래 과제에서 배웠다고 칩니다. 새 과제의 정답은 두 방향이 만드는 모서리 안쪽이 A 입니다. 두 모델 모두 같은 신경망(입력 2 → 특징 2 → 답 1)이고, 같은 경사 하강법(1500 걸음, 학습률 0.5)으로 학습합니다. 다른 것은 출발점뿐입니다. 왼쪽은 백본을 동결하고 헤드 숫자 3개만, 오른쪽은 난수에서 출발해 9개를 모두 학습합니다. 점은 고정 씨앗으로 지어낸 것이고, 자료 수를 늘리면 같은 100개에서 앞의 n 개를 씁니다.
해 볼 것. ① 처음(자료 10개)은 헤드만 96%, 처음부터 80.5% 입니다. 오른쪽 판의 보라 점선(스스로 찾은 두 방향)이 정답 모서리와 어긋나 있습니다. ② 20개로 늘리면 99% 와 86.3% 입니다. ③ 100개까지 늘리면 100% 와 98.5% 로 차이가 1.5%p 만 남습니다. 자료가 많으면 처음부터 배워도 거의 따라옵니다. ④ 처음부터 쪽은 곧게 오르지 않습니다. 40개에서 98% 였다가 45개에서 95%, 60개에서 95.3% 로 내려갑니다. 백본까지 함께 찾느라 결과가 자료에 따라 흔들립니다. ⑤ 5개로 줄이면 75.8% 와 74% 로 둘 다 잘 못합니다. 5개 가운데 4개가 A 라 B 쪽 경계를 알려 줄 점이 거의 없습니다.
1. 전이 학습이란: 앞쪽은 일반, 뒤쪽은 특화
신경망은 층을 지날 때마다 입력을 새 숫자(특징)로 바꿉니다. 그림을 학습한 신경망을 열어 보면, 첫 층은 어느 그림 자료로 학습해도 비슷한 단순한 무늬(줄무늬, 색 덩어리)를 배웁니다. 층이 깊어질수록 특징은 그 자료와 과제에 맞춰집니다. 그래서 「고양이·개·자동차를 가르는 모델」의 앞쪽 층은 「불량 부품을 가르는 과제」에도 쓸모가 있고, 마지막 층(헤드(head))만 원래 과제의 부류에 묶여 있습니다.
전이 학습은 이것을 이용합니다. 큰 자료로 미리 학습한 모델(사전 학습 모델)을 가져와, 헤드를 새 과제의 부류 수에 맞게 바꾸고, 내 자료로 조금 더 학습합니다. 헤드를 뺀 앞부분을 백본(backbone)이라고 부릅니다. 백본이 바뀌지 않게 막는 것을 동결(freeze)한다고 하고, 다시 학습하게 두는 것을 동결 해제(unfreeze)한다고 합니다.
위 실험의 백본은 두 방향을 이미 압니다. 새 과제의 정답이 그 두 방향으로 쉽게 적힐 때(원래 과제와 닮았을 때), 헤드는 「두 특징을 얼마씩 더하나」만 정하면 됩니다. 처음부터 배우는 모델은 두 방향까지 자료에서 찾아야 해서 자료가 더 필요합니다.
2. 세 가지 방식
| 방식 | 동결하는 것 | 학습하는 것 | 3절 본보기에서 학습 가능한 파라미터 수 | 특징 |
|---|---|---|---|---|
| 특징 추출(feature extraction, 헤드만 학습) | 백본 전부 | 새 헤드 | 645 (1.1%) | 가장 싸고 빠르다. 자료가 적어도 과적합이 덜하다. 백본의 출력을 한 번 계산해 저장해 두고 헤드만 여러 번 학습할 수도 있다. 백본의 특징이 새 과제에 안 맞으면 더 나아지지 않는다 |
| 일부 층 동결 해제 | 앞쪽 블록 | 뒤쪽 블록 + 헤드 | 33,669 (57.6%) | 원래 과제에 특화된 뒤쪽 층만 새 과제에 맞춘다. 어디까지 동결 해제할지 정해야 한다 |
| 전체 미세 조정 | 없음 | 모든 층 | 58,501 (100%) | 성능을 가장 끌어올릴 수 있다. 메모리와 계산이 가장 많이 들고, 자료가 적으면 과적합하고, 원래 배운 것을 잊기 쉽다(7절) |
세 방식 모두 출발점은 사전 학습한 가중치입니다. 처음부터 학습은 같은 신경망을 난수에서 출발시키는 것이고, 위 실험의 오른쪽 판이 그것입니다.
3. 식이 만들어지는 과정: 학습 가능한 파라미터 수 세기
동결하면 무엇이 줄어드는지 숫자로 봅니다. 본보기는 입력 64 개 → 층1 ~ 층4(각 출력 128) → 새 헤드(부류 5)인 작은 신경망입니다. 그림의 사각형 하나가 층 하나의 가중치 격자(가로 입력 수, 세로 출력 수)입니다.
- 층 하나:
입력 수 × 출력 수 + 출력 수. 입력과 출력을 잇는 선마다 가중치가 하나, 출력마다 편향이 하나입니다. 층2 는128 × 128 + 128 = 16,512, 층1 은64 × 128 + 128 = 8,320, 헤드는128 × 5 + 5 = 645. - 전체 미세 조정:
Σ(…). 모든 층을 더합니다.8,320 + 16,512 × 3 + 645 = 58,501. 이것이 학습 가능한 파라미터 수이자 모델 전체의 숫자입니다. - 앞쪽 블록 동결:
Σ동결 해제된 층(…). 층1, 층2 를 동결하면 Σ 에서 빠집니다.16,512 × 2 + 645 = 33,669, 전체의 57.6%. 까닭: 동결한 층은 기울기(그래디언트)로 고치지 않으니 셀 필요가 없습니다. - 헤드만:
학습 가능한 파라미터 수 = Σ동결 해제된 층(입력 수 × 출력 수 + 출력 수). 층1 ~ 층4 를 모두 동결하면 645 개, 전체의 1.1% 입니다.
학습 가능한 파라미터 수가 줄면 아끼는 것이 셋입니다. 고칠 숫자마다 들고 있어야 하는 기울기가 줄고, Adam 같은 최적화기가 숫자마다 따로 쌓아 두는 값(Adam 은 둘)도 줄고, 앞쪽이 모두 동결되어 있으면 역전파를 동결한 층 앞에서 멈출 수 있습니다. 동결한 층도 앞으로 가는 계산(예측)은 그대로 합니다.
해 볼 것. 「다음」을 세 번 눌러 보세요. 맨 아래 숫자가 58,501(100%) → 33,669(57.6%) → 645(1.1%) 로 줄고, 회색 사각형이 왼쪽부터 늘어납니다. 헤드는 그림에서 가장 얇은 줄입니다. 실험 ① 도 같은 셈입니다. 백본(가중치 4, 편향 2)과 헤드(3)를 합쳐 9개, 백본을 동결하면 3개입니다.
4. 손으로 따라가기: 헤드를 한 걸음 학습하기
실험 ① 의 첫 학습 점 x = (0.07, 0.18), 정답 A 하나로 헤드를 한 걸음 학습해 봅니다. 백본은 동결해 두었고, 헤드는 (a₁, a₂, b) = (0, 0, 0) 에서 출발합니다. 헤드가 하는 일은 로지스틱 회귀와 같습니다.
- 특징 1. 방향 20° 는
(cos 20°, sin 20°) ≈ (0.94, 0.34).0.94 × 0.07 + 0.34 × 0.18 + 0.5 ≈ 0.627, 여기에 1.5 를 곱해tanh(0.94) ≈ 0.735. - 특징 2. 방향 110° 는
≈ (−0.34, 0.94).−0.34 × 0.07 + 0.94 × 0.18 + 0.5 ≈ 0.645,tanh(1.5 × 0.645) ≈ 0.748. - 예측.
z = 0 × 0.735 + 0 × 0.748 + 0 = 0,p = 시그모이드(0) = 0.5. 아직 아무것도 모릅니다. - 기울기. 교차 엔트로피를 z 로 미분하면
p − 정답 = 0.5 − 1 = −0.5. 헤드 숫자마다 여기에 그 숫자가 곱하는 값을 곱합니다:(−0.5 × 0.735, −0.5 × 0.748, −0.5) ≈ (−0.368, −0.374, −0.5). - 한 걸음. 학습률 0.5 로 기울기 반대쪽으로:
(a₁, a₂, b) = (0.184, 0.187, 0.25). 다시 재면z ≈ 0.184 × 0.735 + 0.187 × 0.748 + 0.25 ≈ 0.525,p ≈ 0.628. A 쪽으로 움직였습니다.
실험은 이 걸음을 학습 자료 n 개의 기울기 평균으로 1500 번 합니다. 백본을 동결했으니 특징 0.735, 0.748 은 학습 내내 그대로입니다. 그래서 헤드만 학습할 때는 백본의 출력을 한 번만 계산해 저장해 두어도 됩니다.
5. 층별 학습률
백본을 동결 해제해도 모든 층을 같은 걸음으로 고치지는 않습니다. 새로 만든 헤드는 난수에서 출발해 많이 움직여야 하고, 사전 학습한 층은 이미 쓸 만하니 조금만 움직여야 합니다. 그래서 사전 학습한 층의 학습률을 헤드보다 작게 둡니다(CS231n). 앞쪽 층일수록 일반적인 특징이라 덜 고칩니다.
ULMFiT 논문은 이것을 층마다 다른 학습률(discriminative fine-tuning)로 정리했습니다. 마지막 층만 학습해 보며 그 층의 학습률을 먼저 정하고, 한 층 아래로 갈 때마다 2.6 으로 나눴습니다. 헤드가 0.001 이면 그 아래 층은 0.001 ÷ 2.6 ≈ 0.000385, 또 그 아래는 ≈ 0.000148 입니다. 2.6 은 그 논문이 실험해서 고른 숫자이고, 다른 모델에서는 다시 골라야 합니다.
# PyTorch: 백본을 동결하고 헤드를 새 과제의 부류 수(5)에 맞춰 바꾼다
for p in model.parameters():
p.requires_grad = False # 동결
model.fc = torch.nn.Linear(model.fc.in_features, 5) # 새 헤드는 학습한다
# 뒤쪽 블록(layer4)도 동결 해제했다면: 묶음마다 학습률을 따로 준다
for p in model.layer4.parameters():
p.requires_grad = True
optimizer = torch.optim.SGD([
{"params": model.layer4.parameters(), "lr": 1e-4}, # 사전 학습한 층: 작게
{"params": model.fc.parameters(), "lr": 1e-3}, # 새 헤드: 크게
], momentum=0.9)
흔히 쓰는 순서는 헤드를 먼저 학습해 자리를 잡은 뒤 백본을 동결 해제하는 것입니다. 난수로 시작한 헤드가 처음에 내는 큰 기울기가 백본으로 흘러가 사전 학습한 특징을 흔들지 않게 하려는 것입니다. ULMFiT 는 한 걸음 더 나아가 마지막 층부터 한 층씩 차례로 동결 해제합니다(gradual unfreezing).
두 방법을 합쳐, 헤드에서 k 층 아래에 있는 층의 학습률은 이렇습니다.
ηk = η0 ÷ 2.6k
- k: 헤드에서 몇 층 아래인가. 헤드는 0, 층4 는 1, 층1 은 4.
- ηk: 그 층의 학습률(η 는 「에타」라고 읽습니다).
- η0: 헤드의 학습률. 아래 실험에서는 0.001.
- 2.6: 한 층 내려갈 때마다 나누는 수(ULMFiT 가 고른 값).
초록 막대 = 동결 해제된 층의 학습률(길이가 값에 비례), 잠긴 회색 자물쇠 = 동결한 층(학습률 0), 주황 = 이번 걸음에 동결 해제된 층. 주황 화살표는 위 층의 학습률을 2.6 으로 나눠 받는 것을 가리킵니다.
6. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 헤드만 학습(특징 추출) | 싸고 빠르다. 자료가 적어도 된다. 백본의 출력을 저장해 두고 재사용할 수 있다 | 백본의 특징이 새 과제에 안 맞으면 한계가 있다 | 자료가 적고 원래 과제와 닮았을 때. 어느 경우든 먼저 해 볼 기준선 |
| 일부 층 동결 해제 | 특화된 뒤쪽만 새 과제에 맞춘다. 비용이 중간이다 | 어디까지 동결 해제할지 골라야 한다. 동결 해제한 만큼 과적합 위험이 커진다 | 자료가 중간쯤이거나 원래 과제와 조금 다를 때 |
| 전체 미세 조정 | 성능을 가장 많이 끌어올릴 수 있다 | 메모리·계산이 많다. 과제마다 모델 전체를 따로 저장한다. 자료가 적으면 과적합, 원래 배운 것을 잊기 쉽다 | 자료가 많을 때. 작은 학습률로 |
| 처음부터 학습 | 사전 학습 모델의 구조에 묶이지 않는다 | 자료와 계산이 가장 많이 든다 | 맞는 사전 학습 모델이 없을 때, 구조를 크게 바꿔야 할 때 |
| LoRA | 원래 가중치는 동결하고 옆에 붙인 작은 행렬만 학습한다. 학습 가능한 파라미터 수와 저장할 것이 작다 | 전체 미세 조정만큼 바꾸지 못할 수 있다 | 큰 모델(LLM)을 내 자료에 맞출 때 |
| 프롬프트만 쓰기 | 학습이 없다. 바로 고칠 수 있다 | 부를 때마다 입력이 길어진다. 넣을 수 있는 예시 수에 한계가 있다 | 지시와 예시 몇 개로 될 때. LLM 에서 가장 먼저 해 볼 것 |
자료 양과 원래 과제와 닮은 정도로 고르면 이렇습니다(CS231n 의 네 경우를 옮긴 것).
| 원래 과제와 닮음 | 원래 과제와 다름 | |
|---|---|---|
| 자료 적음 | 헤드만 학습. 미세 조정은 과적합하기 쉽다. 뒤쪽 특징까지 새 과제에 쓸모가 있다 | 어렵다. 헤드만 학습하되 더 앞쪽 층의 출력에 헤드를 단다. 뒤쪽 층은 원래 과제에 특화되어 덜 맞는다 |
| 자료 많음 | 전체(또는 뒤쪽 여러 층) 미세 조정. 자료가 많아 과적합 걱정이 적다 | 처음부터도 되지만, 사전 학습 가중치로 시작해 전체를 미세 조정하는 쪽이 자주 낫다 |
7. 파국적 망각: 새것을 배우며 옛것을 잊는다
신경망을 새 과제로 계속 학습하면, 원래 과제를 하던 가중치가 새 과제 쪽으로 옮겨 가 원래 과제를 못 하게 됩니다. 이것을 파국적 망각이라고 부릅니다. 사람처럼 조금씩 흐려지는 것이 아니라, 같은 숫자를 덮어써서 생깁니다. ULMFiT 논문은 언어 모델을 분류기와 함께 미세 조정하면 망각이 생긴다고 적고, 층마다 다른 학습률과 점진적 동결 해제를 그 대책으로 내놓았습니다.
- 동결. 동결한 층은 바뀌지 않습니다. 실험 ① 의 헤드만 학습에서 백본의 두 방향은 처음과 똑같습니다. 원래 헤드를 같이 두면 원래 과제도 그대로 합니다.
- 작은 학습률, 점진적 동결 해제. 덜 움직이면 덜 잊습니다(5절).
- 중요한 가중치를 덜 움직이기. EWC 는 원래 과제에 중요한 가중치의 학습을 골라서 느리게 합니다(Kirkpatrick 등).
- 옛 자료 섞기. 원래 과제의 자료를 조금 섞어 함께 학습합니다.
- 원래 가중치를 건드리지 않기. LoRA 는 원래 가중치를 동결하고 작은 덧붙임만 학습하므로, 덧붙임을 떼면 원래 모델로 돌아갑니다.
8. LLM 에서: 사전 학습 → 미세 조정 → LoRA → 프롬프트만
큰 언어 모델에도 같은 생각이 사다리처럼 놓입니다. 아래로 갈수록 바꾸는 숫자가 적고 싸집니다.
- 사전 학습. 아주 많은 글로 다음 낱말 맞히기를 학습해 백본을 만듭니다. 비용이 가장 커서 대개 모델을 만드는 곳이 합니다. 우리가 가져다 쓰는 출발점입니다.
- 미세 조정. 내 자료(질문과 좋은 답의 쌍 등)로 모든 가중치를 더 학습합니다. 3절처럼 학습 가능한 파라미터 수가 모델 전체라 메모리가 많이 들고, 과제마다 모델 전체를 따로 저장합니다.
- LoRA. 가중치는 동결하고, 층 옆에 작은 행렬 둘을 붙여 그것만 학습합니다. 3절의 「헤드만」처럼 학습 가능한 파라미터 수가 크게 줄고, 저장할 것도 그 작은 행렬뿐입니다.
- 프롬프트만 쓰기. 가중치를 하나도 바꾸지 않고, 지시와 예시 몇 개를 입력에 넣어 원하는 일을 하게 합니다(문맥 안 학습). 학습은 없지만 부를 때마다 그 글이 같이 들어갑니다.
보통은 아래에서 위로 시도합니다. 프롬프트로 안 되면 LoRA, 그래도 안 되고 자료와 계산이 넉넉하면 전체 미세 조정입니다. 문서를 찾아 붙이는 방법(임베딩 검색)은 가중치를 바꾸지 않고 지식을 더하는 다른 길입니다.
어디에 쓰나
- 그림 분류. 큰 그림 자료로 학습한 합성곱 신경망의 헤드를 내 부류(불량·정상 등)로 바꿉니다.
- 글 분류와 LLM 맞춤. 사전 학습한 언어 모델을 리뷰 감정 분류나 우리 회사 말투의 답변에 맞춥니다(트랜스포머, LoRA).
- 임베딩을 특징으로. 사전 학습 모델이 낸 임베딩 위에 작은 분류기를 올리는 것도 「헤드만 학습」입니다.
- 라벨 붙이기가 비싼 분야. 정답 붙은 자료를 많이 모으기 어려울 때 적은 자료로 시작하게 해 줍니다.
자주 묻는 것
전이 학습과 미세 조정은 같은 말인가요?
전이 학습이 더 넓은 말입니다. 한 과제에서 배운 것을 다른 과제에 쓰는 일 전부를 전이 학습이라고 합니다. 미세 조정은 그 가운데 한 방법으로, 사전 학습한 가중치에서 출발해 새 자료로 더 학습하는 것입니다. 백본을 동결하고 헤드만 학습하는 특징 추출도 전이 학습이지만, 백본의 가중치는 바꾸지 않습니다.
미세 조정할 때 학습률은 얼마로 하나요?
정해진 숫자는 없고 검증 자료로 골라야 합니다. 방향은 정해져 있습니다. 사전 학습한 층은 새로 만든 헤드보다 작은 학습률로 고칩니다. 이미 쓸 만한 가중치를 크게 흔들지 않으려는 것입니다. ULMFiT 논문은 마지막 층의 학습률을 먼저 정하고, 한 층 아래로 갈 때마다 2.6 으로 나눈 값을 썼습니다.
자료가 많으면 처음부터 학습하는 것이 낫지 않나요?
그럴 수도 있지만 대개는 사전 학습한 가중치에서 출발하는 쪽이 낫거나 비슷합니다. CS231n 강의 노트는 자료가 많고 원래 과제와 아주 달라도 실제로는 사전 학습한 가중치로 시작해 전체를 미세 조정하는 것이 자주 도움이 된다고 적습니다. 위 실험에서도 자료 100개에서 처음부터 학습한 쪽은 98.5% 로 거의 따라오지만, 헤드만 맞춘 쪽(100%)을 넘지는 못합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 이미 배운 모델을 출발점으로 쓰기 | 전이 학습(transfer learning) |
| 큰 자료로 미리 학습하기, 그렇게 만든 모델 | 사전 학습(pre-training), 사전 학습 모델(pretrained model) |
| 사전 학습한 가중치에서 출발해 더 학습하기 | 미세 조정(fine-tuning) |
| 특징을 뽑는 앞부분, 답을 내는 마지막 층 | 백본(backbone), 헤드(head). 헤드는 분류기(classifier)라고도 한다 |
| 백본을 동결하고 헤드만 학습하기 | 특징 추출(feature extraction), 선형 탐침(linear probing) |
| 층을 학습에서 빼기, 다시 넣기 | 동결(freezing), 동결 해제(unfreezing) |
| 층마다 다른 학습률 | 차등 미세 조정(discriminative fine-tuning), 층별 학습률(layer-wise learning rate) |
| 마지막 층부터 하나씩 다시 학습에 넣기 | 점진적 동결 해제(gradual unfreezing) |
| 학습으로 바뀌는 숫자의 수 | 학습 가능한 파라미터(trainable parameters) |
| 새것을 배우며 옛것을 잊기 | 파국적 망각(catastrophic forgetting) |
| 중요한 가중치를 덜 움직이기 | EWC(elastic weight consolidation) |
| 프롬프트만 쓰기 | 문맥 안 학습(in-context learning), 퓨샷 프롬프팅(few-shot prompting) |
| 원래 과제와 새 과제 | 원천 과제(source task), 목표 과제(target task) |
출처
- Jason Yosinski, Jeff Clune, Yoshua Bengio, Hod Lipson, How transferable are features in deep neural networks?, arXiv:1411.1792. 첫 층의 특징은 일반적이고 마지막 층으로 갈수록 특화된다는 것.
- Stanford CS231n 강의 노트, Transfer Learning. 고정된 특징 추출기와 미세 조정, 자료 양 × 닮은 정도의 네 경우, 미세 조정하는 층에 더 작은 학습률.
- Jeremy Howard, Sebastian Ruder, Universal Language Model Fine-tuning for Text Classification, arXiv:1801.06146. 층마다 다른 학습률(ηl−1 = ηl ÷ 2.6), 차례로 풀기, 미세 조정 때의 망각.
- James Kirkpatrick 등, Overcoming catastrophic forgetting in neural networks, arXiv:1612.00796. 원래 과제에 중요한 가중치의 학습을 골라 느리게 하는 방법(EWC).