Silabus Pelajaran 204 dari 250 · Fine-Tuning, Secara Konsep
Fine-Tuning, Secara Konsep

Penggunaan Memori: 4-bit vs 16-bit

Ini adalah perhitungan yang menentukan apakah sebuah model bisa berjalan di perangkat kerasmu, dan mengapa model "quantized" ada di mana-mana. Bobot model hanyalah angka, dan setiap angka memakan beberapa byte tergantung presisinya. Jejak memorinya sederhana:

bytes = params * bits_per_param / 8
# (8 bits per byte)

Pelatihan dan inferensi presisi penuh sering menggunakan 16-bit floats (2 byte masing-masing). Untuk menjalankan model di laptop atau ponsel kamu quantize itu: simpan setiap weight dalam bit yang lebih sedikit. 4-bit quantization menggunakan seperempat byte, karena 4 bit adalah seperempat dari 16 bit. Jumlah parameter sama, seperempat dari memori.

Kerjakan model 7 miliar parameter:

16-bit: 7e9 * 16 / 8 = 1.4e10 bytes  ~= 13.04 GiB
 4-bit: 7e9 *  4 / 8 = 3.5e9  bytes  ~=  3.26 GiB   (exactly 1/4)

Itulah perbedaan antara model yang butuh GPU besar dan yang bisa jalan di laptop. Inilah alasan kenapa asisten on-device (seperti yang menjalankan tutor AI di kursus ini) mengirimkan model 4-bit: biaya kualitasnya kecil, tapi keuntungan memori dan bandwidth sangat besar. Ini juga alasan kenapa parameter-efficient fine-tuning (LoRA) menarik, kamu hanya menyimpan dan mengirim beberapa bobot adapter kecil di atas base yang dibekukan dan mungkin dikuantisasi.

Apa yang terlewatkan oleh rumus sederhana. Ini hanya menghitung bobot, jadi anggap saja sebagai batas bawah. Format 4-bit asli juga menyimpan skala untuk setiap kelompok kecil bobot, yang membuatnya menjadi sekitar 4,5 sampai 5 bit per bobot (model 7B lebih dekat ke 4 GiB daripada 3,26). Menjalankan model butuh ruang untuk KV cache, yang bertambah seiring panjang konteks. Dan training butuh jauh lebih banyak daripada bobot: fine-tuning penuh dengan optimiser Adam menyimpan gradien dan dua optimiser states per bobot, sekitar 16 byte per parameter dalam mixed precision, jadi kira-kira 100 GiB untuk model 7B sebelum aktivasi. Celah itulah alasan sebenarnya kenapa LoRA dan quantized fine-tuning ada.

Kami melaporkan footprint dalam GiB (gibibytes), membagi bytes dengan 1024 ** 3. Simpan sebagai float yang tepat, jangan dibulatkan, agar hubungan di bawah ini akurat.

Buat dua fungsi.

  • model_memory(params, bits_per_param) -> jejak dalam GiB sebagai float: params * bits_per_param / 8 / (1024 ** 3).
  • quantization_savings(params, from_bits, to_bits) -> {"before_gb", "after_gb", "ratio"}, di mana before_gb dan after_gb adalah dua jejak dan ratio adalah from_bits / to_bits (berapa kali lebih kecil model yang dikuantisasi).

Matematikanya nyata dan bisa dinilai; pelatihan GPU yang dimungkinkannya bukan sesuatu yang bisa dijalankan sandbox ini. Tekan Run untuk mencetak footprint model 7B pada beberapa presisi.

Giliranku

Tulis model_memory(params, bits_per_param) yang mengembalikan footprint dalam GiB sebagai float (params * bits_per_param / 8 / (1024 ** 3)), dan quantization_savings(params, from_bits, to_bits) yang mengembalikan {"before_gb", "after_gb", "ratio"} di mana kedua footprint berasal dari model_memory dan ratio adalah from_bits / to_bits. Jangan bulatkan; simpan float yang tepat supaya 4-bit keluar sebagai tepat seperempat dari 16-bit.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.