메모리 사용량: 4비트 대 16비트
모델이 내 하드웨어에 들어가기라도 하는지, 그리고 왜 "양자화된" 모델이 어디에나 있는지를 정하는 계산이 여기 있어요. 모델의 가중치는 숫자일 뿐이고, 각 숫자는 정밀도에 따라 몇 바이트를 차지해요. 사용량은 단순해요:
bytes = params * bits_per_param / 8
# (8 bits per byte)훈련과 완전 정밀도 추론은 흔히 16비트 float(각 2바이트)를 써요. 노트북이나 휴대폰에서 모델을 돌리려면 양자화해요: 각 가중치를 더 적은 비트로 저장해요. 4비트 양자화는 4비트가 16비트의 4분의 1이니 바이트도 4분의 1을 써요. 매개변수 수는 같고, 메모리는 4분의 1이에요.
70억 매개변수 모델로 계산해 보세요:
16-bit: 7e9 * 16 / 8 = 1.4e10 bytes ~= 13.04 GiB
4-bit: 7e9 * 4 / 8 = 3.5e9 bytes ~= 3.26 GiB (exactly 1/4)그게 큰 GPU가 필요한 모델과 노트북에서 도는 모델의 차이예요. 기기 내 도우미(이 강좌의 AI 튜터를 움직이는 것 같은)가 4비트 모델을 싣는 이유가 바로 그거예요: 품질 대가는 작고, 메모리와 대역폭 이득은 커요. 매개변수 효율적 파인튜닝(LoRA)이 매력적인 이유이기도 해요. 얼린, 어쩌면 양자화된 기반 위에 작은 어댑터 가중치 몇 개만 저장하고 실으면 되니까요.
단순한 공식이 빠뜨리는 것. 가중치만 세니 최솟값으로 여기세요. 실제 4비트 형식은 가중치의 작은 묶음마다 배율도 저장해서 가중치당 약 4.5에서 5비트가 돼요(7B 모델은 3.26보다 4 GiB에 가까워요). 모델을 돌리려면 맥락 길이에 따라 커지는 KV 캐시 자리가 필요해요. 그리고 훈련에는 가중치보다 훨씬 더 많이 필요해요: Adam 옵티마이저로 하는 전체 파인튜닝은 가중치마다 그래디언트와 옵티마이저 상태 두 개를 두니, 혼합 정밀도에서 매개변수당 약 16바이트, 그래서 7B 모델이면 활성값 전에 대략 100 GiB예요. 그 틈이 LoRA와 양자화된 파인튜닝이 존재하는 진짜 이유예요.
사용량은 바이트를 1024 ** 3으로 나눈 GiB(기비바이트)로 보고해요. 아래의 관계가 정확히 성립하도록 반올림하지 말고 정확한 float로 두세요.
함수 두 개를 만드세요.
model_memory(params, bits_per_param)-> float인 GiB 단위 사용량:params * bits_per_param / 8 / (1024 ** 3).quantization_savings(params, from_bits, to_bits)->{"before_gb", "after_gb", "ratio"}.before_gb와after_gb는 두 사용량이고ratio는from_bits / to_bits(양자화된 모델이 몇 배 작은지)예요.
계산은 진짜이고 채점할 수 있어요. 그것이 가능하게 하는 GPU 훈련은 이 샌드박스가 돌릴 수 있는 게 아니에요. 7B 모델의 몇 가지 정밀도별 사용량을 출력하려면 실행을 누르세요.
float인 GiB 단위 사용량(params * bits_per_param / 8 / (1024 ** 3))을 돌려주는 model_memory(params, bits_per_param)와, 두 사용량이 model_memory에서 오고 ratio가 from_bits / to_bits인 {"before_gb", "after_gb", "ratio"}를 돌려주는 quantization_savings(params, from_bits, to_bits)를 쓰세요. 반올림하지 마세요. 4비트가 정확히 16비트의 4분의 1로 나오도록 정확한 float로 두세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.