미세 조정과 LoRA, 양자화: 큰 모델을 싸게 고치고 돌리기

큰 언어 모델은 가중치라는 숫자가 아주 많이 든 행렬 묶음입니다. 내 일에 맞게 고치려면 이 숫자들을 다시 학습시켜야 하고, 돌리려면 모두 메모리에 올려야 합니다. 둘 다 비쌉니다. 덜 고치는 법(LoRA)과 작게 적는 법(양자화)을 직접 움직여 봅니다.

한 줄 답. 미세 조정(fine-tuning)은 이미 학습된 큰 모델을 내 자료로 조금 더 학습시키는 것입니다. 전부 고치면 비싸므로, LoRA 는 원래 가중치 W 는 고치지 않고 동결(freeze)해 두고 「바뀌는 양」만 작은 행렬 둘의 곱 B × A(랭크 r)로 따로 학습합니다. 양자화는 가중치의 숫자를 더 적은 비트로 적어 모델을 작게 만드는 것입니다.

전부 학습 d × d
LoRA 2 × d × r

d 는 가중치 행렬 하나의 한 변, r 은 LoRA 의 랭크입니다. 막대는 학습할 숫자의 개수입니다. 「로그 눈금」을 켜면 막대 길이가 자릿수(0 의 개수)를 따라서, 아주 짧은 LoRA 막대도 보입니다. 그림의 W 는 그대로 두는 원래 가중치, B 와 A 는 새로 학습하는 작은 행렬입니다.

1. 사전 학습과 미세 조정

큰 언어 모델은 두 단계로 만듭니다.

단계하는 일자료결과
사전 학습아주 많은 글을 읽으며 다음 낱말을 맞히는 연습을 한다아주 많다(웹 글, 책 등)말을 두루 하는 바탕 모델
미세 조정바탕 모델을 내 일의 예시로 조금 더 학습시킨다적다(내가 모은 질문과 답의 예시 등)내 일에 맞춘 모델

미세 조정도 학습입니다. 틀린 정도(손실)가 줄어드는 쪽으로 가중치를 조금씩 옮깁니다(경사 하강법). 다른 점은 출발점입니다. 무작위 숫자가 아니라 이미 잘 배운 가중치에서 출발하므로 자료가 적어도 됩니다. 모델이 다음 낱말을 고르는 방법은 앞 주제 소프트맥스와 샘플링에 있습니다.

전부 고치면 왜 비싼가. 가중치를 모두 고치는 전체 미세 조정은 숫자마다 기울기(그래디언트)를 구해 두어야 합니다. Adam 같은 옵티마이저는 숫자마다 기억 두 개를 더 둡니다. 그래서 학습할 숫자가 많을수록 메모리가 몇 배로 듭니다. 일마다 고친 모델을 따로 두면 저장할 것도 모델 전체 크기만큼씩 늘어납니다. LoRA 는 학습할 숫자 자체를 줄여 이 문제를 풉니다.

2. 프롬프트, RAG, 미세 조정: 언제 무엇을

모델을 내 일에 맞추는 방법은 미세 조정만이 아닙니다. 아래는 흔히 쓰는 기준입니다. 정해진 규칙은 아니고, 셋을 함께 쓰기도 합니다.

방법무엇을 바꾸나흔히 맞는 일드는 것
프롬프트(지시문)모델에 넣는 글. 가중치는 그대로가장 먼저 해 볼 것. 할 일, 형식, 예시 몇 개를 글로 알려 준다거의 없다. 글이 길면 부를 때마다 처리할 양이 는다
RAG질문할 때 관련 자료를 찾아 글에 붙인다. 가중치는 그대로새 사실, 자주 바뀌는 사실, 회사 안의 문서. 어디서 온 답인지 보여 줘야 할 때찾을 자료 모음과 검색 장치
미세 조정가중치말투, 답의 형식, 늘 같은 방식으로 하는 일을 몸에 배게 할 때. 긴 프롬프트를 매번 붙이기 싫을 때예시 자료와 학습할 계산 자원

줄이면 「어떻게 말하나」를 바꾸려면 미세 조정, 「무엇을 아나」를 늘리려면 RAG 가 흔한 출발점입니다. 새 사실을 미세 조정으로 넣을 수도 있지만, 사실이 바뀔 때마다 다시 학습해야 하고 모델이 그 사실을 정확히 떠올린다는 보장도 없습니다. RAG 는 다음 주제 RAG 에서 봅니다.

3. LoRA: 바뀌는 양만 작게

미세 조정이 끝나면 가중치 행렬 W 가 W' 로 바뀝니다. 바뀐 양을 ΔW(델타 W)라고 적으면 W' = W + ΔW 입니다. 전체 미세 조정은 ΔW 의 칸 d × d 개를 모두 학습합니다. LoRA 는 ΔW 를 작은 행렬 둘의 곱으로 둡니다.

W' = W + (α ÷ r) × B × A

이 식이 한 조각씩 만들어지는 과정은 4절에서 그림으로 봅니다.

기호크기하는 일
Wd × d사전 학습에서 온 가중치. 동결해 두고 고치지 않는다
Bd × r학습한다. 처음에는 모든 칸이 0
Ar × d학습한다. 처음에는 작은 무작위 수
r숫자 하나랭크(rank). d 보다 훨씬 작게 잡는다(예: 8)
α (알파)숫자 하나바뀌는 양의 세기. r 로 나누어, r 을 바꿔도 세기가 비슷하게 남게 한다

B × A 는 (d × r) 곱하기 (r × d) 라서 d × d 행렬이 됩니다. W 와 크기가 같아 더할 수 있습니다. 행렬 곱의 규칙은 행렬 곱셈에 있습니다. 이 곱의 랭크는 r 을 넘지 못합니다(랭크). 그래서 LoRA 는 「바뀌어야 할 양은 낮은 랭크면 충분하다」에 거는 방법입니다. 논문도 이것을 가정으로 내세웠습니다.

B 를 0 으로 시작하는 까닭. 처음에 B × A = 0 이라 W' = W 입니다. 학습을 시작하는 순간의 모델이 원래 모델과 똑같습니다. 잘 배운 것을 무작위 노이즈로 흔들지 않고 출발합니다. A 까지 0 으로 두지 않는 까닭도 있습니다. B 의 기울기는 A 를 곱해서 나오고, A 의 기울기는 B 를 곱해서 나옵니다. 둘 다 0 이면 둘 다 기울기가 0 이라 영영 움직이지 않습니다. A 가 0 이 아니면 첫 스텝부터 B 가 움직입니다.

α ÷ r. 논문은 α 를 처음 고른 r 과 같은 값으로 두고 따로 맞추지 않았습니다. r 을 바꿀 때마다 학습률 같은 다른 하이퍼파라미터(hyperparameter)를 다시 맞출 일을 줄이려는 장치입니다.

어디에 붙이나. 모델 안에는 가중치 행렬이 여럿 있습니다. LoRA 는 고른 행렬마다 B, A 한 쌍을 붙입니다. 논문은 트랜스포머의 어텐션 가중치에만 붙여 실험했습니다.

4. 식이 만들어지는 과정

3절의 식을 한 조각씩 만들어 봅니다. 그림은 6절 실험과 같은 8 × 8 격자와 칸 색(파랑 양수, 주황 음수, 흰색 0)이고, 바뀌는 양 ΔW 는 그 실험의 처음 무늬 「십자」입니다. W 는 고정 시드(seed)로 지어낸 값입니다. 행렬은 세로 d 칸, 가로 k 칸으로 적습니다. 이 쪽의 다른 절처럼 정사각이면 k = d 입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 초록 테두리가 W, 파랑이 B, 보라가 A 입니다. 칸 안의 주황 네모는 학습하는 칸이고, 회색으로 덮인 W 는 동결해 둔 것입니다.

  1. 바뀌는 양 더하기: W' = W + ΔW. 미세 조정이 끝나면 W 가 W' 로 바뀝니다. 그 차이를 ΔW 라 부르니 이 식은 늘 맞습니다. 전체 미세 조정은 ΔW 의 칸 d × k 개를 모두 학습합니다. 그림은 8 × 8 = 64 칸, 맨 위 실험의 d = 1000 이면 1,000,000 칸입니다.
  2. 두 얇은 행렬의 곱: W' = W + B × A. ΔW 를 세로로 긴 B(d × r)와 가로로 긴 A(r × k)의 곱으로 씁니다. (d × r) 곱하기 (r × k) 는 d × k 라 ΔW 와 크기가 같습니다. 학습할 숫자는 d × r + r × k = r × (d + k) 개입니다. 그림은 r = 2 라 2 × (8 + 8) = 32 개로 64 칸을 채웁니다. 「십자」는 랭크가 2 라 꼭 맞습니다. B 의 첫 열은 4·5 행만 1, 둘째 열은 모두 1 이고, A 의 첫 줄은 4·5 열만 0, 둘째 줄은 4·5 열만 1 입니다. d = k = 1000, r = 8 이면 1,000,000 개가 16,000 개(1.6%)로, 가로가 네 배 긴 1000 × 4000 행렬이면 4,000,000 개가 40,000 개(1%)로 줍니다. 정사각(k = d)이면 r × (d + d) = 2 × d × r 로 맨 위 실험의 식과 같습니다. 여기에 가정이 들어갑니다. B × A 의 랭크는 r 을 넘지 못하므로, 필요한 ΔW 가 낮은 랭크로 충분해야 합니다. 논문이 세운 가정이고 증명된 사실이 아닙니다. 맞지 않으면 무엇이 남는지는 6절에서 봅니다.
  3. W 는 동결하고 B 는 0 에서: 처음 B = 0 → W' = W. 학습하는 동안 W 의 64 칸은 고치지 않고 B 와 A 의 32 개만 고칩니다. B 의 칸을 모두 0 으로 두고 시작하면 B × A 의 칸이 모두 0 이라 W' = W 입니다. 학습을 시작하는 순간의 모델이 원래 모델과 같습니다. A 는 작은 무작위 수로 둡니다. 둘 다 0 이면 기울기도 둘 다 0 이라 움직이지 않습니다(3절).
  4. 스케일링 계수(scaling factor), 그리고 병합(merge): W' = W + (α ÷ r) × B × A. α ÷ r 은 r 을 바꿔도 세기가 비슷하게 남게 하는 스케일링 계수입니다. 논문은 α 를 처음 고른 r 과 같게 두고 다시 맞추지 않았습니다. 여기서는 α = r = 2 라 스케일링 계수가 1 이고, r 을 4 로 올리고 α = 2 를 그대로 두면 0.5 가 됩니다. 이 스케일링 계수가 다른 하이퍼파라미터를 다시 맞출 일을 줄인다는 것은 논문의 설명이고, 여기서는 증명하지 않습니다. 학습이 끝나면 (α ÷ r) × B × A 를 한 번 계산해 W 에 더해 둡니다. 그림에서 십자가 W 위로 옮겨 가 W' 가 됩니다. 남는 것은 W 와 같은 크기의 행렬 하나라, 답을 낼 때 곱셈이 d × k 번으로 원래와 같습니다. 합치지 않고 두어도 답은 같습니다: W' x = W x + (α ÷ r) × B × (A × x)(곱셈의 분배 법칙). 다만 A × x 에 r × k 번, B × (A × x) 에 d × r 번을 더 곱합니다(스케일링 계수는 B 에 미리 곱해 둡니다). 그림은 64 번에 32 번, d = k = 1000, r = 8 이면 1,000,000 번에 16,000 번(1.6%)이 더해집니다.

5. 손으로 세어 보기

작은 것: d = 3, r = 1. B 는 세로로 (1, 2, 3), A 는 가로로 (1, 0, −1) 입니다. 곱하면 B 의 칸마다 A 줄 전체를 곱한 3 × 3 행렬이 나옵니다.

  1. 첫째 줄: 1 × (1, 0, −1) = (1, 0, −1)
  2. 둘째 줄: 2 × (1, 0, −1) = (2, 0, −2)
  3. 셋째 줄: 3 × (1, 0, −1) = (3, 0, −3)
  4. 숫자 6 개(B 에 3 개, A 에 3 개)로 9 칸을 채웠습니다. 모든 줄이 (1, 0, −1) 의 배수라 랭크는 1 입니다.

큰 것: d = 1000, r = 8. 실험의 처음 값과 같습니다.

  1. 전부 학습: 1000 × 1000 = 1,000,000(100만)
  2. LoRA: B 는 1000 × 8 = 8,000, A 는 8 × 1000 = 8,000. 합해서 16,000(1만 6천)
  3. 비율: 16,000 ÷ 1,000,000 = 0.016, 곧 1.6%
  4. B × A 도 1000 × 1000 행렬입니다. 숫자 1만 6천 개로 100만 칸을 채웁니다. 대신 랭크가 8 을 넘지 못합니다.

일반식으로는 비율 = 2 × d × r ÷ (d × d) = 2r ÷ d 입니다. r 이 d 의 절반이면 둘이 같고, 그보다 크면 LoRA 쪽이 더 많습니다. 행렬이 4096 × 4096 이면 r = 8 일 때 16,777,216 개 대 65,536 개(0.39%)입니다.

해 볼 것. ① 처음 모습은 d = 1000, r = 8 입니다. 손 예제와 같이 1,000,000 개 대 16,000 개, 1.6% 입니다. ② d 를 4096 으로 올리면 0.39%, 이어서 r 을 1 로 내리면 0.05% 입니다. LoRA 막대가 거의 안 보이면 「로그 눈금」을 켜세요. ③ d 를 64 로 내리고 r 을 32 로 올리면 둘 다 4,096 개로 같아집니다. r 을 64 로 올리면 LoRA 가 8,192 개로 오히려 두 배입니다. 행렬이 클수록 LoRA 가 많이 줄여 줍니다.

6. 낮은 랭크로 따라잡기

LoRA 가 잘 듣는 것은 실제로 필요한 변화 ΔW 가 낮은 랭크로 충분하다는 가정이 맞을 때입니다. 아래 실험은 8 × 8 격자로 이것을 봅니다. 왼쪽이 원하는 변화 ΔW, 가운데가 랭크 r 로 만들 수 있는 가장 가까운 B × A, 오른쪽이 둘의 차이입니다.

원하는 변화 ΔW
B × A (랭크 r)
차이 ΔW − B × A

작게 줄인 본보기입니다. 진짜 모델의 행렬은 한 변이 수천 칸이고, 진짜 LoRA 는 ΔW 를 미리 알지 못한 채 자료로 B 와 A 를 학습합니다.

칸 색: 파랑은 양수, 주황은 음수, 흰색은 0 입니다. 칸의 숫자는 소수 첫째 자리까지 보입니다. 좁은 화면에서는 칸을 누르면 그 칸의 값이 격자 아래에 나옵니다.

가장 가까운 B × A 를 구하는 법. 진짜 LoRA 는 B 와 A 를 경사 하강으로 학습합니다. 이 실험에서는 정답 ΔW 를 안다고 치고 특잇값 분해로 바로 구했습니다. ΔW 를 σ1 u1 v1ᵀ + σ2 u2 v2ᵀ + … + σ8 u8 v8ᵀ 로 나눈 뒤 큰 것 r 개만 남깁니다. B 의 열이 σk uk, A 의 줄이 vkᵀ 입니다. 랭크 r 인 행렬 가운데 이보다 ΔW 에 가까운 것은 없습니다(저랭크 근사). 그래서 여기의 오차는 「랭크 r 로 아무리 잘 학습해도 이만큼은 남는다」는 바닥입니다.

오차 크기. 차이 격자의 칸마다 값을 제곱해 모두 더하고 제곱근을 씌운 값입니다. 버린 특잇값으로도 구할 수 있습니다. 오차 크기 = √(σ(r+1)² + … + σ8²).

해 볼 것. ① 처음 모습은 「십자」, r = 1 입니다. 특잇값이 4.61 과 2.61 둘뿐이라 이 무늬의 랭크는 2 입니다. r = 1 이면 버린 2.61 이 그대로 오차 크기가 되어 ΔW 크기 5.29 의 49.2% 입니다. 가운데 네 칸은 1 이어야 하는데 1.47 로 넘칩니다. r 을 2 로 올리면 오차가 0 이 됩니다. ② 「네모」는 모든 줄이 같은 모양이거나 0 이라 랭크가 1 입니다. r = 1 에서 이미 오차가 0 입니다. ③ 「고리」는 랭크가 4 지만 넷째 특잇값이 0.01 로 아주 작습니다. 오차가 r = 2 에서 17.2%, r = 3 에서 0.29% 로 떨어집니다. 랭크가 꽉 차지 않아도 큰 것 몇 개가 거의 다를 설명합니다. ④ 「무작위」는 특잇값이 고르게 퍼져 있어 랭크 8 이 꽉 찹니다. r = 2 에서 66.4%, r = 4 에서도 39.7% 가 남고, r = 8 이 되어야 0 이 됩니다. 낮은 랭크로는 따라잡기 어려운 변화입니다.

7. 갈아 끼우기와 병합

학습이 끝나면 B 와 A 만 저장하면 됩니다. 원래 모델에 붙이는 이 작은 묶음을 어댑터라고 부릅니다.

8. LoRA 의 한계

9. 양자화: 숫자를 적은 비트로

가중치 하나를 32비트(4바이트) 소수로 적으면, 숫자 10억 개짜리 모델은 40억 바이트, 약 4GB 입니다. 양자화는 이 숫자를 8비트, 4비트처럼 더 적은 비트로 적어 모델을 작게 만듭니다.

비트가 b 개면 서로 다른 값을 2b 개만 적을 수 있습니다. 그래서 가장 작은 값과 가장 큰 값 사이에 고른 눈금 2b 개를 긋고, 값마다 가장 가까운 눈금으로 옮깁니다. 저장하는 것은 눈금의 번호(정수)와, 묶음마다 「가장 작은 값」과 눈금 사이인 「스케일(scale)」 두 숫자입니다.

스케일    = (가장 큰 값 − 가장 작은 값) ÷ (2^b − 1)
번호      = 반올림((값 − 가장 작은 값) ÷ 스케일)
되살린 값 = 가장 작은 값 + 번호 × 스케일

번호는 0 부터 2b − 1 까지의 정수이고, 저장하는 것은 이 번호입니다. 쓸 때는 셋째 줄로 값을 되살립니다.

손으로 따라 하기: 값 다섯 개를 2비트로

값은 −1.5, −0.4, 0.2, 0.9, 1.5 입니다.

  1. 눈금 수. 2² = 4 개.
  2. 스케일. (1.5 − (−1.5)) ÷ (4 − 1) = 3 ÷ 3 = 1. 눈금은 −1.5, −0.5, 0.5, 1.5 입니다.
  3. 번호와 되살린 값.
    값(값 + 1.5) ÷ 1번호되살린 값오차
    −1.500−1.50
    −0.41.11−0.50.1
    0.21.720.50.3
    0.92.420.50.4
    1.5331.50
  4. 평균 오차. (0 + 0.1 + 0.3 + 0.4 + 0) ÷ 5 = 0.16. 가장 큰 오차 0.4 는 스케일의 절반 0.5 를 넘지 않습니다. 가장 가까운 눈금으로 옮기므로 늘 그렇습니다.
  5. 크기. 숫자마다 32비트 대신 2비트라 1/16 입니다. 묶음마다 두 숫자(−1.5 와 1)를 더 적지만, 묶음이 크면 거의 보태지 않습니다.

작게 줄인 본보기입니다. 가중치 40개는 정규분포에서 고정 시드로 뽑은 지어낸 값입니다. 진짜 모델은 숫자가 훨씬 많고, 숫자를 작은 묶음으로 나눠 묶음마다 눈금을 따로 잡거나 눈금을 고르지 않게 두는 방법도 씁니다.

막대로 비트 수(1, 2, 3, 4, 6, 8)를 고릅니다. 위의 초록 점이 원래 값, 아래 수직선의 파란 선이 쓸 수 있는 눈금, 검은 점이 옮긴 값입니다. 화살표는 값마다 어느 눈금으로 옮겨 갔는지 보여 줍니다.

해 볼 것. ① 처음 모습은 4비트, 눈금 16개입니다. 평균 오차는 0.059, 크기는 32비트의 1/8 입니다. ② 8비트로 올리면 눈금이 256개로 촘촘해져 화살표가 거의 곧게 내려가고, 평균 오차가 0.003 이 됩니다. 크기는 1/4 입니다. ③ 2비트로 내리면 눈금 4개, 평균 오차 0.313 입니다. ④ 1비트면 눈금이 가장 작은 값 −1.72 와 가장 큰 값 2.24 둘뿐이라 모든 값이 둘 가운데 하나로 갑니다. 평균 오차는 1.211 입니다. ⑤ 오른쪽 끝의 2.24 는 다른 값들과 떨어져 있습니다. 이 값 하나가 범위를 넓혀 눈금 사이가 벌어집니다. 4비트에서 눈금 16개 가운데 실제로 쓰인 것은 14개입니다.

10. 정확도와 크기의 맞바꿈

비트눈금 수32비트 대비 크기숫자 10억 개 모델실험의 평균 오차
32(소수 형식)14GB0
82561/41GB0.003
4161/80.5GB0.059
241/160.25GB0.313
121/320.125GB1.211

비트를 줄이면 모델이 작아져 메모리가 적은 기기에도 올라가고, 메모리에서 읽어 올 양이 줄어 빨라지기도 합니다. 대신 값마다 오차가 생기고, 오차가 쌓이면 답이 나빠질 수 있습니다. 얼마나 줄여도 되는지는 모델과 방법에 따라 달라서 직접 재 보고 정합니다.

튀는 값. 눈금은 가장 작은 값부터 가장 큰 값까지를 고르게 나누므로, 크게 튀는 값 하나가 있으면 나머지 값들의 눈금이 성겨집니다. 숫자를 작은 묶음으로 나눠 묶음마다 눈금을 따로 잡으면 튀는 값은 자기 묶음에만 영향을 줍니다.

같이 쓰기: QLoRA. QLoRA(Dettmers 등, 2023)는 바탕 모델을 4비트로 양자화해 동결해 두고, 그 위에서 LoRA 어댑터를 학습하는 방법입니다. 큰 모델의 미세 조정에 드는 메모리를 더 줄입니다.

다른 방법: 지식 증류. 큰 모델(선생)의 답을 흉내 내도록 작은 모델(학생)을 학습시켜, 작고 빠른 모델을 얻는 방법입니다.

11. 꼭 알아야 할 성질

성질쉬운 말
LoRA 가 학습하는 숫자: 2 × d × r. 전부는 d × d. 비율은 2r ÷ dr 이 d 의 절반보다 작아야 줄어든다. 행렬이 클수록 많이 준다
B × A 의 랭크 ≤ r낮은 랭크의 변화만 만들 수 있다. 필요한 변화가 그 안에 들면 잘 듣는다
처음에 B = 0 이라 W' = W원래 모델과 똑같이 시작한다
학습 뒤 W + (α ÷ r) × B × A 로 합칠 수 있다답을 낼 때 계산이 늘지 않는다. 합치지 않고 두면 어댑터를 갈아 끼울 수 있다
양자화: 눈금 2^b 개, 오차 ≤ 스케일 ÷ 2, 크기 b ÷ 32비트를 하나 줄이면 눈금이 반으로 줄어 오차가 커진다

어디에 쓰나

자주 묻는 것

LoRA 가 뭔가요?

큰 모델을 미세 조정할 때 원래 가중치 W 는 동결해 두고, 바뀌는 양만 작은 행렬 둘의 곱 B × A 로 학습하는 방법입니다. Low-Rank Adaptation 의 줄임말입니다. 행렬 하나에서 학습할 숫자가 d × d 개에서 2 × d × r 개로 줍니다.

미세 조정과 RAG 는 언제 쓰나요?

흔한 기준으로는, 말투나 답의 형식처럼 「어떻게 말하나」를 바꾸려면 미세 조정, 새 사실이나 자주 바뀌는 자료를 알려 주려면 RAG 를 씁니다. 먼저 프롬프트로 해 보고, 모자라면 둘을 함께 쓰기도 합니다.

랭크 r 은 얼마로 잡나요?

정해진 값은 없습니다. 4, 8, 16 처럼 작은 값으로 시작해 결과를 보며 올립니다. r 을 올리면 따라갈 수 있는 변화가 늘지만 학습할 숫자도 그만큼 늡니다.

양자화하면 모델이 나빠지나요?

값마다 반올림 오차가 생기므로 나빠질 수 있습니다. 비트를 줄일수록 오차가 커집니다. 얼마나 줄여도 괜찮은지는 모델과 방법에 따라 달라서 직접 재 보고 정합니다.

LoRA 와 양자화를 같이 쓸 수 있나요?

네. QLoRA 는 바탕 모델을 4비트로 양자화해 동결해 두고, 그 위에서 LoRA 어댑터를 학습합니다. 큰 모델의 미세 조정에 드는 메모리를 더 줄입니다.

낱말

여기서 쓴 말책에서 부르는 말
처음의 큰 학습사전 학습(pre-training)
조금 더 학습시키기미세 조정(fine-tuning). 모두 고치면 전체 미세 조정(full fine-tuning)
모델 속 숫자가중치(weight), 매개변수·파라미터(parameter)
고치지 않고 그대로 두기동결(freeze)
바뀌는 양 ΔW가중치 갱신량(weight update)
바뀌는 양을 작은 행렬 둘의 곱으로 학습하기LoRA(Low-Rank Adaptation, 저랭크 적응)
일부 숫자만 학습하는 미세 조정매개변수 효율적 미세 조정(parameter-efficient fine-tuning, PEFT)
갈아 끼우는 작은 묶음어댑터(adapter)
합치기병합(merge)
서로 독립인 줄의 수랭크(rank)
세기 α스케일링 계수(scaling factor), alpha
칸의 차이를 제곱해 더하고 제곱근을 씌운 것프로베니우스 노름(Frobenius norm)
숫자를 적은 비트로 적기양자화(quantization)
눈금과 눈금 사이의 간격스케일(scale), 양자화 간격(step size)
가장 작은 값을 0 번 눈금에 맞추기영점(zero point), 비대칭 양자화(asymmetric quantization)
지시문프롬프트(prompt)
자료를 찾아 붙여 답하기검색 증강 생성(retrieval-augmented generation, RAG)
큰 모델을 흉내 내는 작은 모델 만들기지식 증류(knowledge distillation)

출처

← 구조화된 출력환각과 LLM 평가 →