Müfredat 246 dersinden 224. · Modül 21: Bir modelin içine bakmak
Modül 21: Bir modelin içine bakmak

Ayrıştırmak: seyrek bir otokodlayıcı

Neden önemli Özellikler süperpozisyonda saklanıyorsa, birimlere bakmak onları bulamaz. Seyrek bir otokodlayıcı (Bricken vd. 2023, Cunningham vd. 2023) bunu geri almaya çalışır: her vektörü sahip olduğu sayılardan çok daha fazla yönden yeniden kur, ama bir seferde yalnızca birkaçından.

19.200 karakterlik ders metni için GPT'nin blok 1'den sonraki 64 sayılık vektörlerini al. 256 özellikli seyrek bir otokodlayıcı f = relu(z We + be) hesaplar ve z = f Wd'yi yeniden kurar. Kayıp, yeniden kurma hatası artı l1 çarpı f'nin toplam boyutudur; bu da çoğu özelliği tam sıfıra iter.

interp.train_sae(A, features=256, l1=...) bir tane eğitir; sae.unexplained(A) vektörlerin yayılımından yeniden kurmanın kaçırdığı paydır (0 mükemmel) ve sae.features(A) f'yi verir.

Önce tahmin et: güçlü bir itmeyle (l1 = 0.3), yeniden kurma yayılımın çoğunu hâlâ açıklayacak mı (açıklanmayan 0.2'nin altında)?

Bu dersteki kelimeler ve semboller
süperpozisyon
sayıların olduğundan daha fazla özelliği, nadiren birlikte açık olan yönler olarak saklamak
seyrek otokodlayıcı
vektörleri bir seferde birkaç etkin özellikten yeniden kurmak için eğitilmiş geniş bir katman
Senin sıran

my_guess değerini "yes" ya da "no" olarak ayarla. l1 0.03 ve 0.3'te eğit (her biri 128 vektörlük 600 adım). Ayrılmış vektörler A_new üzerinde unexplained[l1]'i, ve active[l1]'i doldur: ayrılmış karakter başına sıfırın üstündeki ortalama özellik sayısı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.