Yerden fazla özellik: süperpozisyon
Neden önemli Her birim tek bir şey anlamına gelseydi, bir ağı okumak kolay olurdu. Genellikle öyle değil, ve Elhage vd. (2022)'nin oyuncak modeli nedenini gösteriyor: özellikler nadiren birlikte açık olduğu sürece, bir ağ sahip olduğu sayılardan daha fazla özellik saklayabilir.
Oyuncak: 5 özellik, her biri çoğu zaman 0, aksi halde 0 ile 1 arasında bir sayı. Bir W matrisi (2'ye 5) onları yalnızca 2 sayıya sıkıştırır, h = W x, ve model onları relu(WT h + b) olarak geri okur. i özelliği kayıpta 0.9i kadar önemlidir (en çok özellik 0). W'nin i sütunu i özelliğinin saklandığı yöndür; sıfıra yakın bir sütun özelliğin bırakıldığı anlamına gelir.
interp.superposition(sparsity=s) onu eğitir (s = her özelliğin 0 olma şansı). interp.stored(W) tuttuğu özellikleri, interp.angles(W) da aralarındaki açıları listeler.
Önce tahmin et: özellikler nadiren açık olduğunda (seyreklik 0.97), 2 sayı 5'ten kaçını tutabilir?
Bu dersteki kelimeler ve semboller
- süperpozisyon
- sayıların olduğundan daha fazla özelliği, nadiren birlikte açık olan yönler olarak saklamak
my_guess değerini 2 ile 5 arasında bir sayıya ayarla. Seyreklik 0, 0.7 ve 0.97'de (tohum 0) eğit ve kept[s]'i saklanan özellik sayısıyla, smallest_angle[s]'i de saklanan iki özellik arasındaki en küçük açıyla doldur.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.