Müfredat 246 dersinden 223. · Modül 21: Bir modelin içine bakmak
Modül 21: Bir modelin içine bakmak

Yerden fazla özellik: süperpozisyon

Neden önemli Her birim tek bir şey anlamına gelseydi, bir ağı okumak kolay olurdu. Genellikle öyle değil, ve Elhage vd. (2022)'nin oyuncak modeli nedenini gösteriyor: özellikler nadiren birlikte açık olduğu sürece, bir ağ sahip olduğu sayılardan daha fazla özellik saklayabilir.

Oyuncak: 5 özellik, her biri çoğu zaman 0, aksi halde 0 ile 1 arasında bir sayı. Bir W matrisi (2'ye 5) onları yalnızca 2 sayıya sıkıştırır, h = W x, ve model onları relu(WT h + b) olarak geri okur. i özelliği kayıpta 0.9i kadar önemlidir (en çok özellik 0). W'nin i sütunu i özelliğinin saklandığı yöndür; sıfıra yakın bir sütun özelliğin bırakıldığı anlamına gelir.

interp.superposition(sparsity=s) onu eğitir (s = her özelliğin 0 olma şansı). interp.stored(W) tuttuğu özellikleri, interp.angles(W) da aralarındaki açıları listeler.

Önce tahmin et: özellikler nadiren açık olduğunda (seyreklik 0.97), 2 sayı 5'ten kaçını tutabilir?

Bu dersteki kelimeler ve semboller
süperpozisyon
sayıların olduğundan daha fazla özelliği, nadiren birlikte açık olan yönler olarak saklamak
Senin sıran

my_guess değerini 2 ile 5 arasında bir sayıya ayarla. Seyreklik 0, 0.7 ve 0.97'de (tohum 0) eğit ve kept[s]'i saklanan özellik sayısıyla, smallest_angle[s]'i de saklanan iki özellik arasındaki en küçük açıyla doldur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.