Müfredat 250 dersinden 204. · İnce Ayar, Kavramsal Olarak
İnce Ayar, Kavramsal Olarak

Bellek Kullanımı: 4-bit vs 16-bit

Bir modelin donanımına sığıp sığmayacağını belirleyen aritmetik ve "quantized" modellerin neden her yerde olduğunu burada bulabilirsin. Bir modelin ağırlıkları sadece sayılardır ve her sayı hassasiyetine bağlı olarak belirli bir miktar bayt kaplar. Kapladığı alan basittir:

bytes = params * bits_per_param / 8
# (8 bits per byte)

Eğitim ve tam hassasiyetli çıkarım genellikle 16-bit float (her biri 2 bayt) kullanır. Bir modeli dizüstü bilgisayarda veya telefonda çalıştırmak için onu quantize yaparsın: her ağırlığı daha az bit içinde saklarsın. 4-bit kuantizasyonu, 4 bit 16 bitin dörtte biri olduğu için baytların dörtte birini kullanır. Aynı parametre sayısı, belleğin dörtte biri.

7 milyar parametreli bir model üzerinde çalış:

16-bit: 7e9 * 16 / 8 = 1.4e10 bytes  ~= 13.04 GiB
 4-bit: 7e9 *  4 / 8 = 3.5e9  bytes  ~=  3.26 GiB   (exactly 1/4)

Bu, büyük bir GPU gerektiren bir model ile bir dizüstü bilgisayarda çalışan model arasındaki farktır. Cihaz üzerinde çalışan bir asistanın (bu kursun yapay zeka eğitmenini çalıştıran gibi) neden 4-bitlik bir model sunduğunun tam sebebi budur: kalite kaybı azdır, bellek ve bant genişliği kazancı ise devasadır. Bu aynı zamanda parametre verimli ince ayarın (LoRA) çekici olmasının nedenidir; sadece dondurulmuş, muhtemelen kuantize edilmiş bir tabanın üzerine birkaç küçük adapter weights kaydedip gönderirsin.

Basit formülün dışarıda bıraktığı şey. Sadece ağırlıkları sayıyor, bu yüzden onu bir taban olarak düşün. Gerçek 4-bit formatları her küçük ağırlık grubu için bir ölçek de saklar, bu da onları ağırlık başına yaklaşık 4.5 ila 5 bite taşır (bir 7B model 3.26 yerine 4 GiB değerine daha yakındır). Modeli çalıştırmak için KV cache için yer gerekir, bu da bağlam uzunluğuyla birlikte büyür. Ve training ağırlıklardan çok daha fazlasına ihtiyaç duyar: Adam optimizasyonu ile tam ince ayar, her ağırlık için gradyanları ve iki optimizasyon durumunu tutar, karışık hassasiyette parametre başına yaklaşık 16 bayt, yani aktivasyonlardan önce 7B model için kabaca 100 GiB. Bu boşluk, LoRA ve kuantize edilmiş ince ayarın var olma nedenidir.

Footprint'i GiB (gibibyte) cinsinden raporluyoruz, byte'ları 1024 ** 3'ye bölüyoruz. Tam bir float olarak tut, yuvarlama yapma, böylece aşağıdaki ilişkiler tam olarak geçerli olsun.

İki fonksiyon oluştur.

  • model_memory(params, bits_per_param) -> GiB cinsinden ayak izi (float olarak): params * bits_per_param / 8 / (1024 ** 3).
  • quantization_savings(params, from_bits, to_bits) -> {"before_gb", "after_gb", "ratio"}, burada before_gb ve after_gb iki ayak izi ve ratio ise from_bits / to_bits (kuantize edilmiş model kaç kat daha küçük).

Matematik gerçek ve derecelendirilebilir; GPU eğitimi buna olanak sağlar ancak bu sandbox bunu çalıştıramaz. Run tuşuna basarak birkaç hassasiyette 7B modelin ayak izini yazdır.

Senin sıran

Kapladığı alanı GiB cinsinden bir float olarak döndüren model_memory(params, bits_per_param) (params * bits_per_param / 8 / (1024 ** 3)), ve iki alanın model_memory'den geldiği ve ratio'nun from_bits / to_bits olduğu {"before_gb", "after_gb", "ratio"} döndüren quantization_savings(params, from_bits, to_bits) yaz. Yuvarlama; 4 bit tam olarak 16 bitin dörtte biri çıksın diye tam float'ları tut.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.