Silabus Pelajaran 214 dari 246 · Modul 20: Mengadaptasi model yang sudah dilatih dengan murah
Modul 20: Mengadaptasi model yang sudah dilatih dengan murah

Bobot lebih kecil (kuantisasi)

Kenapa ini penting Model disimpan dan dijalankan sebagai angka, dan kebanyakan angka tidak butuh 32 bit. Menyimpan setiap weight dalam 8 atau 4 bit membuat model 4 atau 8 kali lebih kecil dan seringkali lebih cepat, begitulah cara model besar muat di laptop dan ponsel. Pertanyaannya adalah apa biayanya.

Skema paling sederhana, per baris dari setiap matriks bobot: cari nilai absolut terbesar, bagi baris menjadi 2^(bits - 1) - 1 langkah yang sama di setiap sisi nol, dan bulatkan setiap bobot ke langkah terdekat. Simpan langkah yang dibulatkan (bilangan bulat kecil) dan satu skala per baris.

Angka kecil

Baris [0.9, -0.3, 0.05] pada 4 bit: 7 langkah tiap sisi; skala 0.9 / 7 = 0.129. 0.9 -> 7 langkah -> 0.9; -0.3 -> -2.33 -> -2 langkah -> -0.257; 0.05 -> 0.39 -> 0 langkah -> 0. Bobot kecilnya hilang.

Kata dan simbol di pelajaran ini
kuantisasi
menyimpan bobot dalam bit yang lebih sedikit dengan membulatkannya ke beberapa langkah
Giliranku

Tulis quantize_row(w, bits) seperti yang dijelaskan. Lalu atur my_guess: perubahan loss bahasa Inggris yang kamu harapkan pada 8 dan 4 bit, dan isi measured untuk 8, 4, 3 dan 2 bit menggunakan adapt.quantize (ini menerapkan aturan yang sama ke setiap matriks).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.