Daha küçük ağırlıklar (nicemleme)
Neden önemli Modeller sayı olarak saklanır ve çalıştırılır, ve çoğu sayının 32 bite ihtiyacı yoktur. Her ağırlığı 8 ya da 4 bitte saklamak bir modeli 4 ya da 8 kat küçültür ve çoğu zaman hızlandırır, büyük modellerin dizüstülere ve telefonlara böyle sığar. Soru bunun neye mal olduğudur.
En basit şema, her ağırlık matrisinin satırı başına: en büyük mutlak değeri bul, satırı sıfırın iki yanında 2^(bits - 1) - 1 eşit adıma böl, ve her ağırlığı en yakın adıma yuvarla. Yuvarlanmış adımları (küçük tam sayılar) ve satır başına bir ölçeği sakla.
Küçük sayılar
4 bitte [0.9, -0.3, 0.05] satırı: her yanda 7 adım; ölçek 0.9 / 7 = 0.129. 0.9 -> 7 adım -> 0.9; -0.3 -> -2.33 -> -2 adım -> -0.257; 0.05 -> 0.39 -> 0 adım -> 0. Küçük ağırlık kaybolur.
Bu dersteki kelimeler ve semboller
- nicemleme
- ağırlıkları birkaç adıma yuvarlayarak daha az bitte saklamak
Anlatıldığı gibi quantize_row(w, bits) yaz. Sonra my_guess'i ayarla: 8 ve 4 bitte beklediğin İngilizce kayıp değişimi, ve adapt.quantize kullanarak (aynı kuralı her matrise uygular) 8, 4, 3 ve 2 bit için measured'ı doldur.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.