양자화: 가중치를 8비트·4비트 정수로 적기

모델의 가중치는 보통 숫자 하나에 32비트를 씁니다. 숫자가 10억 개면 그것만으로 4 GB 입니다. 숫자를 눈금 몇 개에만 놓기로 하고 「몇째 눈금」만 작은 정수로 적으면 크기가 4분의 1, 8분의 1 로 줄어듭니다. 대신 반올림한 만큼 틀립니다. 비트 수를 바꿔 가며 얼마나 틀리는지 재 보세요.

한 줄 답. 양자화는 가중치 같은 실수를 고르게 깔린 눈금 가운데 가장 가까운 것에 붙이고, 그 눈금의 번호(작은 정수)만 적는 일입니다: q = round(x ÷ s) + z. 스케일(scale) s 와 영점 z 를 같이 저장해 두면 x̂ = s·(q − z) 로 원래 값을 거의 되찾습니다. 8비트면 크기가 32비트의 4분의 1, 4비트면 8분의 1 이 되고, 잃는 것은 반올림 오차(스케일의 반 이하)입니다.

막대로 비트 수를 2 ~ 8 로 바꿔 보세요(키보드 화살표도 됩니다). 위의 초록은 원래 가중치, 아래의 파랑은 양자화한 뒤 눈금마다 붙은 가중치의 수입니다. 눈금이 64개를 넘으면(7, 8비트) 점선은 그리지 않습니다. 가중치는 평균 0, 표준편차 1 쯤으로 고정 시드(seed) 난수기가 지어낸 200개입니다. 작게 줄인 본보기입니다. 진짜 모델은 가중치가 수백만 ~ 수십억 개이고, 보통 층이나 채널마다 따로 눈금을 정합니다.

1. 양자화란: 눈금에 붙이고 번호만 적기

자로 길이를 재고 「12.3 cm」라고 적으면 0.1 cm 보다 잘게는 버린 것입니다. 눈금이 성길수록 적을 숫자는 짧아지고, 그만큼 더 틀립니다. 양자화도 같습니다. 정해 둔 눈금 몇 개 가운데 가장 가까운 것에 값을 붙이고, 그 눈금이 몇째인지만 적습니다.

32비트 실수(float32)는 아주 작은 수부터 아주 큰 수까지 잘게 적을 수 있습니다. 그런데 학습한 가중치는 대부분 0 근처의 좁은 범위에 모여 있어서 그 넓은 범위를 거의 쓰지 않습니다. b비트 정수는 2ᵇ 가지 값만 적습니다. 8비트는 256 가지, 4비트는 16 가지입니다. 이 눈금을 가중치가 실제로 있는 범위에만 고르게 깔면 적은 비트로도 꽤 가깝게 적을 수 있습니다.

모델을 줄이면 신경망을 쓰는 일, 곧 추론이 싸집니다. 같은 메모리에 더 큰 모델이 들어가고, 메모리에서 읽어 올 바이트가 줄고, 정수 계산을 잘하는 기기에서는 계산도 빨라집니다. Krishnamoorthi 의 정리는 8비트로 양자화한 합성곱 신경망이 CPU 에서 실수보다 2 ~ 3 배 빨랐다고 적었습니다.

2. 식이 만들어지는 과정

가중치 여섯 개 −0.4, −0.13, 0, 0.27, 0.55, 1 을 3비트(정수 0 ~ 7)로 적어 봅니다. 「다음」을 누를 때마다 식에 조각이 하나 붙고(주황 바탕), 그림과 표가 그만큼 바뀝니다.

xx ÷ sround(x ÷ s)qx̂ = s·(q − z)오차 x − x̂

  1. 스케일: s = (max − min) ÷ (2ᵇ − 1). 3비트는 눈금 8개, 그 사이 칸은 7개입니다. 범위 −0.4 ~ 1 을 7칸으로 나누면 s = 1.4 ÷ 7 = 0.2. 까닭: 가장 작은 값과 가장 큰 값이 양 끝 눈금에 오게 해야 눈금을 하나도 버리지 않습니다.
  2. 나눠서 반올림: round(x ÷ s). 0.27 ÷ 0.2 = 1.35 → 1, 0.55 ÷ 0.2 = 2.75 → 3. 「0 에서 눈금 몇 칸째」입니다. 까닭: 가장 가까운 눈금에 붙이는 것이 반올림입니다. 그래서 오차는 칸 너비의 반, s ÷ 2 를 넘지 않습니다.
  3. 영점 더하기: q = round(x ÷ s) + z. 결과가 −2 ~ 5 라 음수가 섞였습니다. z = round(0.4 ÷ 0.2) = 2 를 더하면 0 ~ 7 에 들어갑니다. 까닭: 부호 없는 정수 0 ~ 7 만 쓰려면 밀어 줘야 합니다. z 를 정수로 두었기 때문에 실수 0 은 언제나 q = z 에 정확히 놓입니다. 0 은 신경망에서 아주 자주 나오는 값이라(ReLU 는 음수를 모두 0 으로 만들고, 합성곱은 가장자리를 0 으로 채웁니다) 0 이 조금이라도 틀리면 그 오차가 한쪽으로 쌓입니다. 그래도 0 ~ 7 밖으로 나가는 값은 끝으로 자릅니다.
  4. 되돌리기: x̂ = s·(q − z). 저장한 q 에서 z 를 빼고 s 를 곱합니다. 0.27 은 q = 3 이 되어 0.2 × (3 − 2) = 0.2 로 돌아오고, 0.07 만큼 틀립니다. 저장하는 것은 3비트 정수 여섯 개와 s, z 뿐입니다.

해 볼 것. ① 처음 단계에서 s = 0.2 의 칸 하나가 주황으로 보입니다. ② 「다음」을 누르면 round(x ÷ s) 가 −2, −1, 0, 1, 3, 5 가 됩니다. −0.13 ÷ 0.2 = −0.65 는 −1 로 갑니다. ③ 한 번 더 누르면 z = 2 를 더해 q = 0, 1, 2, 3, 5, 7 이고, 주황 눈금(q = 2)에 0 이 정확히 놓입니다. ④ 마지막 단계의 오차는 0, 0.07, 0, 0.07, −0.05, 0 입니다. 가장 큰 것(0.07)도 s ÷ 2 = 0.1 보다 작고, 양 끝 −0.4 와 1 은 눈금에 딱 맞아 오차가 0 입니다.

3. 손으로 풀어 보기

위 실험의 숫자를 표 하나로 모읍니다. s = 0.2, z = 2 입니다.

xx ÷ sroundq = round + 2x̂ = 0.2 × (q − 2)오차
−0.4−2−20−0.40
−0.13−0.65−11−0.20.07
000200
0.271.35130.20.07
0.552.75350.6−0.05
155710

오차의 크기를 평균 내면 (0 + 0.07 + 0 + 0.07 + 0.05 + 0) ÷ 6 ≈ 0.0317 입니다. 크기는 32비트로 6 × 32 = 192 비트, 3비트로 6 × 3 = 18 비트입니다. 여기에 s 와 z 를 더 저장하는데, 숫자가 여섯 개뿐이면 이것이 오히려 큽니다. 숫자 수천 개가 s 와 z 하나를 같이 쓰면 거의 보이지 않습니다.

4. 비트 수와 이상치

맨 위 실험으로 돌아갑니다. 비트가 하나 늘면 눈금 수가 두 배가 되고 간격 s 는 거의 반이 됩니다. 오차는 s 에 비례하니 오차도 거의 반이 됩니다. 반대로 범위가 넓어지면 같은 비트로도 s 가 커집니다. 범위는 가장 작은 값과 가장 큰 값이 정하므로, 멀리 떨어진 값 하나가 나머지 모두의 눈금을 성기게 만듭니다.

해 볼 것. ① 처음(4비트)은 눈금 16개, s = 0.357, z = 8 이고 평균 오차 0.0933, 가장 큰 오차 0.177 입니다. 크기는 200 × 4 ÷ 8 = 100 바이트로 32비트(800 바이트)의 12.5% 입니다. ② 막대를 2 에서 8 까지 옮기면 평균 오차가 0.472, 0.21, 0.0933, 0.0432, 0.0207, 0.00997, 0.00516 으로 비트 하나마다 거의 반씩 줄어듭니다. ③ 4비트에서 「이상치 하나 넣기」를 누르면 값 8 하나 때문에 s 가 0.357 에서 0.726 으로 넓어지고, 평균 오차가 0.0933 에서 0.197 로 두 배쯤 됩니다. 가중치 200개는 그대로인데도 그렇습니다. 값이 붙은 눈금도 15개에서 9개로 줄어듭니다. ④ 이상치를 둔 채 5비트로 올리면 평균 오차가 0.0914 로, 이상치가 없던 4비트와 비슷해집니다. 이상치 하나가 1비트를 먹은 셈입니다.

그래서 눈금을 층 전체에 하나만 두지 않고 더 잘게 나눠 둡니다. Krishnamoorthi 의 정리는 가중치를 채널마다 따로 양자화하기를 권합니다. 가중치 몇십 개 그룹마다 s 와 z 를 따로 두기도 합니다. 그러면 이상치가 있는 그룹만 거칠어집니다. 대신 s 와 z 를 그만큼 더 저장합니다.

5. 꼭 알아야 할 성질

성질쉬운 말실험에서
오차는 s ÷ 2 이하가장 가까운 눈금에 붙이므로 칸 너비의 반보다 더 틀리지 않는다(범위 안의 값)「가장 큰 오차」 줄
비트 하나에 오차는 거의 반눈금 수가 두 배, 간격이 반. 크기는 비트에 비례해 늘 뿐이다2 → 8 비트
이상치 하나가 모두를 거칠게 한다범위가 넓어져 s 가 커지고, 값이 몰린 가운데에 남는 눈금이 준다이상치 단추
0 은 정확히 남는다z 를 정수로 두어 실수 0 이 늘 눈금 하나에 놓인다식 실험의 ③ 단계
크기 = 숫자 개수 × 비트 ÷ 88비트면 4분의 1, 4비트면 8분의 1. 여기에 s 와 z 가 붙는다「크기」 줄

6. 모델 크기 = 숫자 개수 × 비트 ÷ 8

비트를 8 로 나누면 바이트입니다. 숫자(파라미터) 10억 개짜리 모델의 가중치만 셉니다(1 GB = 10⁹ 바이트).

숫자 하나에식가중치 크기
32비트 실수10⁹ × 32 ÷ 84 GB
16비트 실수10⁹ × 16 ÷ 82 GB
8비트 정수10⁹ × 8 ÷ 81 GB
4비트 정수10⁹ × 4 ÷ 80.5 GB

4비트에서 가중치 64개마다 16비트짜리 s 와 z 를 하나씩 둔다면, 64개마다 32비트가 붙어 숫자 하나에 0.5비트가 늘고 10⁹ × 4.5 ÷ 8 ≈ 0.56 GB 가 됩니다. 돌릴 때는 이것 말고도 층 사이를 흐르는 값과 컨텍스트 윈도우의 캐시를 담을 메모리가 더 듭니다.

7. 학습 뒤 양자화와 양자화를 알고 학습하기

학습 뒤 양자화(PTQ)는 다 학습한 모델의 가중치에서 s 와 z 를 구해 바로 바꿉니다. 다시 학습하지 않으니 빠르고 쉽습니다. 층 사이를 흐르는 값(활성값)도 양자화하려면 그 범위를 알아야 해서, 자료 몇 배치를 흘려 범위를 재 둡니다(보정, 아래 첫째 그림). 비트가 적을수록 반올림 오차가 정확도를 깎을 수 있습니다.

양자화를 알고 학습하기(QAT)는 학습하는 동안 앞으로 계산할 때 가중치를 양자화했다 되돌린 값 x̂ 를 씁니다. 모델이 반올림 오차를 겪으며 학습하므로 그 오차에 덜 흔들리는 가중치를 찾습니다. 반올림은 거의 어디서나 기울기가 0 이라 그대로는 역전파가 멈춥니다. 그래서 뒤로 전할 때는 반올림이 없는 것처럼 기울기를 그대로 지나가게 합니다(아래 둘째 그림). 학습을 다시 해야 하니 비쌉니다.

최소 최대 01234567 3비트: 눈금 8개(번호 0 ~ 7), 칸 7개
학습 뒤 양자화의 보정. 자료 몇 배치를 흘려 얻은 값(지어낸 것)의 히스토그램에서 최소와 최대를 재고, 그 범위에 3비트 눈금 8개를 고르게 깝니다. 양 끝 눈금이 최소와 최대에 놓입니다.
x̂ (양자화한 값) x (원래 값) −0.4−0.200.20.40.60.81 −0.4−0.200.20.40.60.81 기울기 0 뒤로 갈 때는이것으로 친다
양자화를 알고 학습하기. 검은 실선 계단은 앞으로 계산할 때 쓰는 x̂ 로, 2절의 3비트 예(s = 0.2, 범위 −0.4 ~ 1)입니다. 평평한 곳은 기울기가 0 이라 그대로는 기울기가 지나가지 못합니다. 뒤로 전할 때는 파란 점선, 곧 기울기 1 의 직선으로 칩니다.

Krishnamoorthi 의 정리(합성곱 신경망 여러 종류를 잰 것)는 이렇게 적었습니다. 8비트 학습 뒤 양자화로 분류 정확도가 실수 모델과 2% 안이었고, 양자화를 알고 학습하면 그 차이가 1% 로 줄었습니다. 가중치를 4비트로 줄이면 양자화를 알고 학습해도 2% ~ 10% 떨어졌고, 작은 망일수록 더 떨어졌습니다. 다른 종류의 모델에서는 숫자가 다를 수 있으니 직접 잽니다.

8. 추론을 싸게 만드는 다른 길

9. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
32비트 실수가장 정확하다. 비교할 기준이 된다가장 크고, 메모리에서 읽을 것이 가장 많다정확도를 재는 기준, 작은 모델, 학습의 기준 사본
16비트 실수(반정밀도)크기 절반. s, z 가 필요 없다적을 수 있는 범위·정밀도가 줄어 학습 때 손실 배율 같은 장치가 필요하다GPU 에서의 학습(혼합 정밀도)과 추론
8비트 정수크기 4분의 1. 정수 계산이 빠른 기기에서 빨라진다s, z 와 보정이 필요하고 이상치에 약하다휴대폰·서버 추론. 학습 뒤 양자화로 먼저 해 본다
4비트 정수크기 8분의 1. 큰 모델을 작은 메모리에 올린다오차가 커서 잘게 나눈 눈금이나 다시 학습이 필요할 수 있다. 4비트 계산을 지원해야 빨라진다큰 모델을 적은 GPU 메모리나 PC 에서 돌릴 때
양자화모델 구조를 그대로 두고, 학습 뒤 바로 할 수 있다비트를 줄일수록 정확도가 떨어질 수 있다메모리나 읽어 오는 양이 막힐 때 가장 먼저
증류숫자 개수 자체가 준다. 양자화와 같이 쓸 수 있다작은 모델을 새로 학습해야 해서 비싸다같은 일을 아주 많이 오래 돌릴 때
가지치기숫자를 뺀다흩어진 0 은 빨라지지 않을 수 있고, 뺀 뒤 다시 학습이 필요할 때가 많다채널째 빼서 구조를 줄일 수 있을 때

어디에 쓰나

자주 묻는 것

양자화하면 정확도가 얼마나 떨어지나요?

모델, 비트 수, 방법에 따라 달라 한 숫자로 말할 수 없습니다. 합성곱 신경망 여러 종류를 잰 정리(Krishnamoorthi)에서는 8비트 학습 뒤 양자화가 실수 모델과 2% 안, 양자화를 알고 학습하면 1% 안이었고, 가중치를 4비트로 줄이면 양자화를 알고 학습해도 2% ~ 10% 떨어졌습니다. 내 모델은 같은 테스트 세트로 양자화 전과 후의 점수를 직접 재서 정합니다.

양자화한 모델을 그대로 더 학습할 수 있나요?

정수 가중치만으로는 어렵습니다. 경사 하강법의 한 스텝은 아주 작아서, 스케일의 반보다 작으면 반올림에 지워집니다. 그래서 양자화를 알고 학습할 때는 실수 가중치를 따로 두고 고치며, 앞으로 계산할 때만 양자화한 값을 씁니다. 양자화한 큰 모델은 그대로 두고 옆에 붙인 작은 행렬만 학습하는 길(LoRA)도 있습니다.

16비트 반정밀도와 8비트 양자화는 무엇이 다른가요?

16비트 반정밀도는 아직 실수입니다. 지수가 있어 작은 값과 큰 값을 알아서 적고, 스케일이나 영점을 정할 필요가 없습니다. 8비트 정수는 눈금이 고르게 깔려 있어서 범위에 맞춰 s 와 z 를 정해야 하고, 범위 밖은 잘리고 안쪽은 반올림됩니다. 크기는 16비트가 32비트의 절반, 8비트가 4분의 1 입니다.

낱말

여기서 쓴 말책에서 부르는 말
눈금에 붙이고 번호만 적기양자화(quantization)
눈금 사이의 간격 s스케일(scale)
영점 z영점(zero point). s 와 z 를 쓰는 방식은 아핀 양자화(affine quantization)
되돌리기 x̂ = s·(q − z)역양자화(dequantization)
반올림해서 생긴 차이양자화 오차(quantization error)
범위 밖을 끝으로 자르기클리핑(clipping)
학습 뒤 양자화post-training quantization(PTQ)
양자화를 알고 학습하기양자화 인식 학습(quantization-aware training, QAT)
앞 계산에서만 양자화했다 되돌리기가짜 양자화(fake quantization), 모의 양자화(simulated quantization)
반올림을 없는 것처럼 기울기 지나가게 하기straight-through estimator(STE)
활성값의 범위 재기보정(calibration)
층 전체·채널마다·그룹마다 눈금per-tensor, per-channel, per-group quantization
층 사이를 흐르는 값활성값(activation)
멀리 떨어진 값이상치(outlier)
32비트 실수, 16비트 실수단정밀도(single precision, FP32), 반정밀도(half precision, FP16). 16비트에는 bfloat16(BF16)도 있다
16비트와 32비트를 섞어 학습하기혼합 정밀도(mixed precision)
큰 모델의 답을 작은 모델이 배우기지식 증류(knowledge distillation)
작은 가중치 빼기가지치기(pruning)
앞 토큰의 키와 값 저장KV 캐시(KV cache)
다 만든 모델을 쓰기추론(inference)

출처

← 보정자료 분포 변화(드리프트)와 운영 감시 →