Bobot lebih kecil (kuantisasi)
Kenapa ini penting Model disimpan dan dijalankan sebagai angka, dan kebanyakan angka tidak butuh 32 bit. Menyimpan setiap weight dalam 8 atau 4 bit membuat model 4 atau 8 kali lebih kecil dan seringkali lebih cepat, begitulah cara model besar muat di laptop dan ponsel. Pertanyaannya adalah apa biayanya.
Skema paling sederhana, per baris dari setiap matriks bobot: cari nilai absolut terbesar, bagi baris menjadi 2^(bits - 1) - 1 langkah yang sama di setiap sisi nol, dan bulatkan setiap bobot ke langkah terdekat. Simpan langkah yang dibulatkan (bilangan bulat kecil) dan satu skala per baris.
Angka kecil
Baris [0.9, -0.3, 0.05] pada 4 bit: 7 langkah tiap sisi; skala 0.9 / 7 = 0.129. 0.9 -> 7 langkah -> 0.9; -0.3 -> -2.33 -> -2 langkah -> -0.257; 0.05 -> 0.39 -> 0 langkah -> 0. Bobot kecilnya hilang.
Kata dan simbol di pelajaran ini
- kuantisasi
- menyimpan bobot dalam bit yang lebih sedikit dengan membulatkannya ke beberapa langkah
Tulis quantize_row(w, bits) seperti yang dijelaskan. Lalu atur my_guess: perubahan loss bahasa Inggris yang kamu harapkan pada 8 dan 4 bit, dan isi measured untuk 8, 4, 3 dan 2 bit menggunakan adapt.quantize (ini menerapkan aturan yang sama ke setiap matriks).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.