양자화: 가중치를 8비트·4비트 정수로 적기
모델의 가중치는 보통 숫자 하나에 32비트를 씁니다. 숫자가 10억 개면 그것만으로 4 GB 입니다. 숫자를 눈금 몇 개에만 놓기로 하고 「몇째 눈금」만 작은 정수로 적으면 크기가 4분의 1, 8분의 1 로 줄어듭니다. 대신 반올림한 만큼 틀립니다. 비트 수를 바꿔 가며 얼마나 틀리는지 재 보세요.
한 줄 답. 양자화는 가중치 같은 실수를 고르게 깔린 눈금 가운데 가장 가까운 것에 붙이고, 그 눈금의 번호(작은 정수)만 적는 일입니다: q = round(x ÷ s) + z. 스케일(scale) s 와 영점 z 를 같이 저장해 두면 x̂ = s·(q − z) 로 원래 값을 거의 되찾습니다. 8비트면 크기가 32비트의 4분의 1, 4비트면 8분의 1 이 되고, 잃는 것은 반올림 오차(스케일의 반 이하)입니다.
막대로 비트 수를 2 ~ 8 로 바꿔 보세요(키보드 화살표도 됩니다). 위의 초록은 원래 가중치, 아래의 파랑은 양자화한 뒤 눈금마다 붙은 가중치의 수입니다. 눈금이 64개를 넘으면(7, 8비트) 점선은 그리지 않습니다. 가중치는 평균 0, 표준편차 1 쯤으로 고정 시드(seed) 난수기가 지어낸 200개입니다. 작게 줄인 본보기입니다. 진짜 모델은 가중치가 수백만 ~ 수십억 개이고, 보통 층이나 채널마다 따로 눈금을 정합니다.
1. 양자화란: 눈금에 붙이고 번호만 적기
자로 길이를 재고 「12.3 cm」라고 적으면 0.1 cm 보다 잘게는 버린 것입니다. 눈금이 성길수록 적을 숫자는 짧아지고, 그만큼 더 틀립니다. 양자화도 같습니다. 정해 둔 눈금 몇 개 가운데 가장 가까운 것에 값을 붙이고, 그 눈금이 몇째인지만 적습니다.
32비트 실수(float32)는 아주 작은 수부터 아주 큰 수까지 잘게 적을 수 있습니다. 그런데 학습한 가중치는 대부분 0 근처의 좁은 범위에 모여 있어서 그 넓은 범위를 거의 쓰지 않습니다. b비트 정수는 2ᵇ 가지 값만 적습니다. 8비트는 256 가지, 4비트는 16 가지입니다. 이 눈금을 가중치가 실제로 있는 범위에만 고르게 깔면 적은 비트로도 꽤 가깝게 적을 수 있습니다.
모델을 줄이면 신경망을 쓰는 일, 곧 추론이 싸집니다. 같은 메모리에 더 큰 모델이 들어가고, 메모리에서 읽어 올 바이트가 줄고, 정수 계산을 잘하는 기기에서는 계산도 빨라집니다. Krishnamoorthi 의 정리는 8비트로 양자화한 합성곱 신경망이 CPU 에서 실수보다 2 ~ 3 배 빨랐다고 적었습니다.
2. 식이 만들어지는 과정
가중치 여섯 개 −0.4, −0.13, 0, 0.27, 0.55, 1 을 3비트(정수 0 ~ 7)로 적어 봅니다. 「다음」을 누를 때마다 식에 조각이 하나 붙고(주황 바탕), 그림과 표가 그만큼 바뀝니다.
| x | x ÷ s | round(x ÷ s) | q | x̂ = s·(q − z) | 오차 x − x̂ |
|---|
- 스케일:
s = (max − min) ÷ (2ᵇ − 1). 3비트는 눈금 8개, 그 사이 칸은 7개입니다. 범위 −0.4 ~ 1 을 7칸으로 나누면s = 1.4 ÷ 7 = 0.2. 까닭: 가장 작은 값과 가장 큰 값이 양 끝 눈금에 오게 해야 눈금을 하나도 버리지 않습니다. - 나눠서 반올림:
round(x ÷ s). 0.27 ÷ 0.2 = 1.35 → 1, 0.55 ÷ 0.2 = 2.75 → 3. 「0 에서 눈금 몇 칸째」입니다. 까닭: 가장 가까운 눈금에 붙이는 것이 반올림입니다. 그래서 오차는 칸 너비의 반,s ÷ 2를 넘지 않습니다. - 영점 더하기:
q = round(x ÷ s) + z. 결과가 −2 ~ 5 라 음수가 섞였습니다.z = round(0.4 ÷ 0.2) = 2를 더하면 0 ~ 7 에 들어갑니다. 까닭: 부호 없는 정수 0 ~ 7 만 쓰려면 밀어 줘야 합니다. z 를 정수로 두었기 때문에 실수 0 은 언제나 q = z 에 정확히 놓입니다. 0 은 신경망에서 아주 자주 나오는 값이라(ReLU 는 음수를 모두 0 으로 만들고, 합성곱은 가장자리를 0 으로 채웁니다) 0 이 조금이라도 틀리면 그 오차가 한쪽으로 쌓입니다. 그래도 0 ~ 7 밖으로 나가는 값은 끝으로 자릅니다. - 되돌리기:
x̂ = s·(q − z). 저장한 q 에서 z 를 빼고 s 를 곱합니다. 0.27 은 q = 3 이 되어0.2 × (3 − 2) = 0.2로 돌아오고, 0.07 만큼 틀립니다. 저장하는 것은 3비트 정수 여섯 개와 s, z 뿐입니다.
해 볼 것. ① 처음 단계에서 s = 0.2 의 칸 하나가 주황으로 보입니다. ② 「다음」을 누르면 round(x ÷ s) 가 −2, −1, 0, 1, 3, 5 가 됩니다. −0.13 ÷ 0.2 = −0.65 는 −1 로 갑니다. ③ 한 번 더 누르면 z = 2 를 더해 q = 0, 1, 2, 3, 5, 7 이고, 주황 눈금(q = 2)에 0 이 정확히 놓입니다. ④ 마지막 단계의 오차는 0, 0.07, 0, 0.07, −0.05, 0 입니다. 가장 큰 것(0.07)도 s ÷ 2 = 0.1 보다 작고, 양 끝 −0.4 와 1 은 눈금에 딱 맞아 오차가 0 입니다.
3. 손으로 풀어 보기
위 실험의 숫자를 표 하나로 모읍니다. s = 0.2, z = 2 입니다.
| x | x ÷ s | round | q = round + 2 | x̂ = 0.2 × (q − 2) | 오차 |
|---|---|---|---|---|---|
| −0.4 | −2 | −2 | 0 | −0.4 | 0 |
| −0.13 | −0.65 | −1 | 1 | −0.2 | 0.07 |
| 0 | 0 | 0 | 2 | 0 | 0 |
| 0.27 | 1.35 | 1 | 3 | 0.2 | 0.07 |
| 0.55 | 2.75 | 3 | 5 | 0.6 | −0.05 |
| 1 | 5 | 5 | 7 | 1 | 0 |
오차의 크기를 평균 내면 (0 + 0.07 + 0 + 0.07 + 0.05 + 0) ÷ 6 ≈ 0.0317 입니다. 크기는 32비트로 6 × 32 = 192 비트, 3비트로 6 × 3 = 18 비트입니다. 여기에 s 와 z 를 더 저장하는데, 숫자가 여섯 개뿐이면 이것이 오히려 큽니다. 숫자 수천 개가 s 와 z 하나를 같이 쓰면 거의 보이지 않습니다.
4. 비트 수와 이상치
맨 위 실험으로 돌아갑니다. 비트가 하나 늘면 눈금 수가 두 배가 되고 간격 s 는 거의 반이 됩니다. 오차는 s 에 비례하니 오차도 거의 반이 됩니다. 반대로 범위가 넓어지면 같은 비트로도 s 가 커집니다. 범위는 가장 작은 값과 가장 큰 값이 정하므로, 멀리 떨어진 값 하나가 나머지 모두의 눈금을 성기게 만듭니다.
해 볼 것. ① 처음(4비트)은 눈금 16개, s = 0.357, z = 8 이고 평균 오차 0.0933, 가장 큰 오차 0.177 입니다. 크기는 200 × 4 ÷ 8 = 100 바이트로 32비트(800 바이트)의 12.5% 입니다. ② 막대를 2 에서 8 까지 옮기면 평균 오차가 0.472, 0.21, 0.0933, 0.0432, 0.0207, 0.00997, 0.00516 으로 비트 하나마다 거의 반씩 줄어듭니다. ③ 4비트에서 「이상치 하나 넣기」를 누르면 값 8 하나 때문에 s 가 0.357 에서 0.726 으로 넓어지고, 평균 오차가 0.0933 에서 0.197 로 두 배쯤 됩니다. 가중치 200개는 그대로인데도 그렇습니다. 값이 붙은 눈금도 15개에서 9개로 줄어듭니다. ④ 이상치를 둔 채 5비트로 올리면 평균 오차가 0.0914 로, 이상치가 없던 4비트와 비슷해집니다. 이상치 하나가 1비트를 먹은 셈입니다.
그래서 눈금을 층 전체에 하나만 두지 않고 더 잘게 나눠 둡니다. Krishnamoorthi 의 정리는 가중치를 채널마다 따로 양자화하기를 권합니다. 가중치 몇십 개 그룹마다 s 와 z 를 따로 두기도 합니다. 그러면 이상치가 있는 그룹만 거칠어집니다. 대신 s 와 z 를 그만큼 더 저장합니다.
5. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 오차는 s ÷ 2 이하 | 가장 가까운 눈금에 붙이므로 칸 너비의 반보다 더 틀리지 않는다(범위 안의 값) | 「가장 큰 오차」 줄 |
| 비트 하나에 오차는 거의 반 | 눈금 수가 두 배, 간격이 반. 크기는 비트에 비례해 늘 뿐이다 | 2 → 8 비트 |
| 이상치 하나가 모두를 거칠게 한다 | 범위가 넓어져 s 가 커지고, 값이 몰린 가운데에 남는 눈금이 준다 | 이상치 단추 |
| 0 은 정확히 남는다 | z 를 정수로 두어 실수 0 이 늘 눈금 하나에 놓인다 | 식 실험의 ③ 단계 |
| 크기 = 숫자 개수 × 비트 ÷ 8 | 8비트면 4분의 1, 4비트면 8분의 1. 여기에 s 와 z 가 붙는다 | 「크기」 줄 |
6. 모델 크기 = 숫자 개수 × 비트 ÷ 8
비트를 8 로 나누면 바이트입니다. 숫자(파라미터) 10억 개짜리 모델의 가중치만 셉니다(1 GB = 10⁹ 바이트).
| 숫자 하나에 | 식 | 가중치 크기 |
|---|---|---|
| 32비트 실수 | 10⁹ × 32 ÷ 8 | 4 GB |
| 16비트 실수 | 10⁹ × 16 ÷ 8 | 2 GB |
| 8비트 정수 | 10⁹ × 8 ÷ 8 | 1 GB |
| 4비트 정수 | 10⁹ × 4 ÷ 8 | 0.5 GB |
4비트에서 가중치 64개마다 16비트짜리 s 와 z 를 하나씩 둔다면, 64개마다 32비트가 붙어 숫자 하나에 0.5비트가 늘고 10⁹ × 4.5 ÷ 8 ≈ 0.56 GB 가 됩니다. 돌릴 때는 이것 말고도 층 사이를 흐르는 값과 컨텍스트 윈도우의 캐시를 담을 메모리가 더 듭니다.
7. 학습 뒤 양자화와 양자화를 알고 학습하기
학습 뒤 양자화(PTQ)는 다 학습한 모델의 가중치에서 s 와 z 를 구해 바로 바꿉니다. 다시 학습하지 않으니 빠르고 쉽습니다. 층 사이를 흐르는 값(활성값)도 양자화하려면 그 범위를 알아야 해서, 자료 몇 배치를 흘려 범위를 재 둡니다(보정, 아래 첫째 그림). 비트가 적을수록 반올림 오차가 정확도를 깎을 수 있습니다.
양자화를 알고 학습하기(QAT)는 학습하는 동안 앞으로 계산할 때 가중치를 양자화했다 되돌린 값 x̂ 를 씁니다. 모델이 반올림 오차를 겪으며 학습하므로 그 오차에 덜 흔들리는 가중치를 찾습니다. 반올림은 거의 어디서나 기울기가 0 이라 그대로는 역전파가 멈춥니다. 그래서 뒤로 전할 때는 반올림이 없는 것처럼 기울기를 그대로 지나가게 합니다(아래 둘째 그림). 학습을 다시 해야 하니 비쌉니다.
Krishnamoorthi 의 정리(합성곱 신경망 여러 종류를 잰 것)는 이렇게 적었습니다. 8비트 학습 뒤 양자화로 분류 정확도가 실수 모델과 2% 안이었고, 양자화를 알고 학습하면 그 차이가 1% 로 줄었습니다. 가중치를 4비트로 줄이면 양자화를 알고 학습해도 2% ~ 10% 떨어졌고, 작은 망일수록 더 떨어졌습니다. 다른 종류의 모델에서는 숫자가 다를 수 있으니 직접 잽니다.
8. 추론을 싸게 만드는 다른 길
- 반정밀도·혼합 정밀도. 32비트 대신 16비트 실수를 씁니다. 아직 실수라서 s 와 z 가 필요 없습니다. 혼합 정밀도 학습은 대부분을 16비트로 두고, 가중치의 32비트 원본과 손실 배율로 16비트가 잃는 정보를 메웁니다(Micikevicius 외).
- 증류. 큰 모델(또는 여러 모델)의 답을 작은 모델이 따라 배우게 합니다. 숫자 개수 자체가 줄어듭니다. 무엇을 정답으로 주는지는 정답 표기 쪽에서 봅니다(Hinton 외).
- 가지치기. 0 에 가까운 가중치를 빼서 숫자를 줄입니다. 여기저기 흩어진 0 은 보통의 행렬 곱에서 그대로 계산되므로, 빨라지려면 채널·줄 단위로 통째로 빼거나 0 을 건너뛰는 계산이 있어야 합니다.
- 배치로 묶기. 요청 여러 개를 묶어 한 번에 계산하면 가중치를 한 번 읽어 여러 요청에 씁니다. 처리량은 늘지만 배치가 찰 때까지 기다리는 만큼 한 요청은 늦어질 수 있습니다(배치 크기).
- 캐시. 글을 토큰 하나씩 만들 때 앞 토큰들의 키와 값을 저장해 두고 다시 씁니다. 같은 계산을 되풀이하지 않는 대신 메모리를 씁니다(컨텍스트 윈도우).
9. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 32비트 실수 | 가장 정확하다. 비교할 기준이 된다 | 가장 크고, 메모리에서 읽을 것이 가장 많다 | 정확도를 재는 기준, 작은 모델, 학습의 기준 사본 |
| 16비트 실수(반정밀도) | 크기 절반. s, z 가 필요 없다 | 적을 수 있는 범위·정밀도가 줄어 학습 때 손실 배율 같은 장치가 필요하다 | GPU 에서의 학습(혼합 정밀도)과 추론 |
| 8비트 정수 | 크기 4분의 1. 정수 계산이 빠른 기기에서 빨라진다 | s, z 와 보정이 필요하고 이상치에 약하다 | 휴대폰·서버 추론. 학습 뒤 양자화로 먼저 해 본다 |
| 4비트 정수 | 크기 8분의 1. 큰 모델을 작은 메모리에 올린다 | 오차가 커서 잘게 나눈 눈금이나 다시 학습이 필요할 수 있다. 4비트 계산을 지원해야 빨라진다 | 큰 모델을 적은 GPU 메모리나 PC 에서 돌릴 때 |
| 양자화 | 모델 구조를 그대로 두고, 학습 뒤 바로 할 수 있다 | 비트를 줄일수록 정확도가 떨어질 수 있다 | 메모리나 읽어 오는 양이 막힐 때 가장 먼저 |
| 증류 | 숫자 개수 자체가 준다. 양자화와 같이 쓸 수 있다 | 작은 모델을 새로 학습해야 해서 비싸다 | 같은 일을 아주 많이 오래 돌릴 때 |
| 가지치기 | 숫자를 뺀다 | 흩어진 0 은 빨라지지 않을 수 있고, 뺀 뒤 다시 학습이 필요할 때가 많다 | 채널째 빼서 구조를 줄일 수 있을 때 |
어디에 쓰나
- 큰 언어 모델을 적은 메모리에서 돌리기. 가중치를 8비트나 4비트로 적어 GPU 하나나 PC 에 올립니다.
- 휴대폰과 작은 기기. 정수만 계산하는 하드웨어에서 돌리려고 가중치와 활성값을 8비트 정수로 바꿉니다(Jacob 외).
- 서버 비용. 같은 GPU 에 더 큰 모델을 올리거나 더 많은 요청을 묶어 받습니다.
- 내려받는 크기. 앱에 넣는 모델 파일이 작아집니다.
- 미세 조정. 양자화한 큰 모델은 그대로 두고 작은 행렬만 학습합니다(LoRA).
자주 묻는 것
양자화하면 정확도가 얼마나 떨어지나요?
모델, 비트 수, 방법에 따라 달라 한 숫자로 말할 수 없습니다. 합성곱 신경망 여러 종류를 잰 정리(Krishnamoorthi)에서는 8비트 학습 뒤 양자화가 실수 모델과 2% 안, 양자화를 알고 학습하면 1% 안이었고, 가중치를 4비트로 줄이면 양자화를 알고 학습해도 2% ~ 10% 떨어졌습니다. 내 모델은 같은 테스트 세트로 양자화 전과 후의 점수를 직접 재서 정합니다.
양자화한 모델을 그대로 더 학습할 수 있나요?
정수 가중치만으로는 어렵습니다. 경사 하강법의 한 스텝은 아주 작아서, 스케일의 반보다 작으면 반올림에 지워집니다. 그래서 양자화를 알고 학습할 때는 실수 가중치를 따로 두고 고치며, 앞으로 계산할 때만 양자화한 값을 씁니다. 양자화한 큰 모델은 그대로 두고 옆에 붙인 작은 행렬만 학습하는 길(LoRA)도 있습니다.
16비트 반정밀도와 8비트 양자화는 무엇이 다른가요?
16비트 반정밀도는 아직 실수입니다. 지수가 있어 작은 값과 큰 값을 알아서 적고, 스케일이나 영점을 정할 필요가 없습니다. 8비트 정수는 눈금이 고르게 깔려 있어서 범위에 맞춰 s 와 z 를 정해야 하고, 범위 밖은 잘리고 안쪽은 반올림됩니다. 크기는 16비트가 32비트의 절반, 8비트가 4분의 1 입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 눈금에 붙이고 번호만 적기 | 양자화(quantization) |
| 눈금 사이의 간격 s | 스케일(scale) |
| 영점 z | 영점(zero point). s 와 z 를 쓰는 방식은 아핀 양자화(affine quantization) |
| 되돌리기 x̂ = s·(q − z) | 역양자화(dequantization) |
| 반올림해서 생긴 차이 | 양자화 오차(quantization error) |
| 범위 밖을 끝으로 자르기 | 클리핑(clipping) |
| 학습 뒤 양자화 | post-training quantization(PTQ) |
| 양자화를 알고 학습하기 | 양자화 인식 학습(quantization-aware training, QAT) |
| 앞 계산에서만 양자화했다 되돌리기 | 가짜 양자화(fake quantization), 모의 양자화(simulated quantization) |
| 반올림을 없는 것처럼 기울기 지나가게 하기 | straight-through estimator(STE) |
| 활성값의 범위 재기 | 보정(calibration) |
| 층 전체·채널마다·그룹마다 눈금 | per-tensor, per-channel, per-group quantization |
| 층 사이를 흐르는 값 | 활성값(activation) |
| 멀리 떨어진 값 | 이상치(outlier) |
| 32비트 실수, 16비트 실수 | 단정밀도(single precision, FP32), 반정밀도(half precision, FP16). 16비트에는 bfloat16(BF16)도 있다 |
| 16비트와 32비트를 섞어 학습하기 | 혼합 정밀도(mixed precision) |
| 큰 모델의 답을 작은 모델이 배우기 | 지식 증류(knowledge distillation) |
| 작은 가중치 빼기 | 가지치기(pruning) |
| 앞 토큰의 키와 값 저장 | KV 캐시(KV cache) |
| 다 만든 모델을 쓰기 | 추론(inference) |
출처
- Benoit Jacob 외, Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, arXiv:1712.05877. 정수만으로 하는 추론, 그에 맞춘 학습 방법.
- Raghuraman Krishnamoorthi, Quantizing deep convolutional networks for efficient inference: A whitepaper, arXiv:1806.08342. 학습 뒤 양자화와 양자화 인식 학습의 정확도(2%, 1%, 4비트 2% ~ 10%), 크기 4분의 1, CPU 2 ~ 3 배, 채널마다 양자화.
- Geoffrey Hinton, Oriol Vinyals, Jeff Dean, Distilling the Knowledge in a Neural Network, arXiv:1503.02531. 증류.
- Paulius Micikevicius 외, Mixed Precision Training, arXiv:1710.03740. 16비트 학습, 32비트 원본 사본, 손실 배율.