Penggunaan Memori: 4-bit vs 16-bit
Ini adalah perhitungan yang menentukan apakah sebuah model bisa berjalan di perangkat kerasmu, dan mengapa model "quantized" ada di mana-mana. Bobot model hanyalah angka, dan setiap angka memakan beberapa byte tergantung presisinya. Jejak memorinya sederhana:
bytes = params * bits_per_param / 8
# (8 bits per byte)Pelatihan dan inferensi presisi penuh sering menggunakan 16-bit floats (2 byte masing-masing). Untuk menjalankan model di laptop atau ponsel kamu quantize itu: simpan setiap weight dalam bit yang lebih sedikit. 4-bit quantization menggunakan seperempat byte, karena 4 bit adalah seperempat dari 16 bit. Jumlah parameter sama, seperempat dari memori.
Kerjakan model 7 miliar parameter:
16-bit: 7e9 * 16 / 8 = 1.4e10 bytes ~= 13.04 GiB
4-bit: 7e9 * 4 / 8 = 3.5e9 bytes ~= 3.26 GiB (exactly 1/4)Itulah perbedaan antara model yang butuh GPU besar dan yang bisa jalan di laptop. Inilah alasan kenapa asisten on-device (seperti yang menjalankan tutor AI di kursus ini) mengirimkan model 4-bit: biaya kualitasnya kecil, tapi keuntungan memori dan bandwidth sangat besar. Ini juga alasan kenapa parameter-efficient fine-tuning (LoRA) menarik, kamu hanya menyimpan dan mengirim beberapa bobot adapter kecil di atas base yang dibekukan dan mungkin dikuantisasi.
Apa yang terlewatkan oleh rumus sederhana. Ini hanya menghitung bobot, jadi anggap saja sebagai batas bawah. Format 4-bit asli juga menyimpan skala untuk setiap kelompok kecil bobot, yang membuatnya menjadi sekitar 4,5 sampai 5 bit per bobot (model 7B lebih dekat ke 4 GiB daripada 3,26). Menjalankan model butuh ruang untuk KV cache, yang bertambah seiring panjang konteks. Dan training butuh jauh lebih banyak daripada bobot: fine-tuning penuh dengan optimiser Adam menyimpan gradien dan dua optimiser states per bobot, sekitar 16 byte per parameter dalam mixed precision, jadi kira-kira 100 GiB untuk model 7B sebelum aktivasi. Celah itulah alasan sebenarnya kenapa LoRA dan quantized fine-tuning ada.
Kami melaporkan footprint dalam GiB (gibibytes), membagi bytes dengan 1024 ** 3. Simpan sebagai float yang tepat, jangan dibulatkan, agar hubungan di bawah ini akurat.
Buat dua fungsi.
model_memory(params, bits_per_param)-> jejak dalam GiB sebagai float:params * bits_per_param / 8 / (1024 ** 3).quantization_savings(params, from_bits, to_bits)->{"before_gb", "after_gb", "ratio"}, di manabefore_gbdanafter_gbadalah dua jejak danratioadalahfrom_bits / to_bits(berapa kali lebih kecil model yang dikuantisasi).
Matematikanya nyata dan bisa dinilai; pelatihan GPU yang dimungkinkannya bukan sesuatu yang bisa dijalankan sandbox ini. Tekan Run untuk mencetak footprint model 7B pada beberapa presisi.
Tulis model_memory(params, bits_per_param) yang mengembalikan footprint dalam GiB sebagai float (params * bits_per_param / 8 / (1024 ** 3)), dan quantization_savings(params, from_bits, to_bits) yang mengembalikan {"before_gb", "after_gb", "ratio"} di mana kedua footprint berasal dari model_memory dan ratio adalah from_bits / to_bits. Jangan bulatkan; simpan float yang tepat supaya 4-bit keluar sebagai tepat seperempat dari 16-bit.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.