Hangi parçalar önemli
Neden önemli Bir parçayı açıklamadan önce bir şey yapıp yapmadığını bul. Parçaları kaldırmak (ablasyon) ölçebileceğin en ucuz etkidir, ve nereye baktığını değiştirir.
GPT'nin her bloğunun bir dikkat kısmı ('attn_out0', 'attn_out1''e yazar) ve bir MLP'si ('mlp_out0', 'mlp_out1''e yazar) var. Birer birer kaldır (çıktısını sıfıra ayarla) ve ayrılmış veri kaybındaki yükselişi ölç. Sonra blok 1'in dört kafasının her birini interp.head_effects(model, X, Y, 1) ile birer birer kaldır.
Bir risk: iki kafa aynı işi yapıyorsa, ikisinden birini tek başına kaldırmak neredeyse hiçbir şey göstermez. Bu yüzden toplanmış dört tek kafa yükselişini blok 1'in bütün dikkatini aynı anda kaldırmakla da karşılaştır. Onları birlikte kaldırmak toplamdan çok daha fazla zarar veriyorsa, birbirlerini yedekliyorlar.
Bu dersteki kelimeler ve semboller
- örüntü, etki, mekanizma
- üç tür kanıt: baktın ve gördün; değiştirdin ve çıktı değişti; açıkladın ve açıklama yeni durumları tahmin etti
- ablasyon
- bir parçayı kaldırmak (çıktısını sıfıra ayarlamak) ve neyin değiştiğini ölçmek
Dört parça için rise'ı, heads1'i dört tek kafa yükselişiyle doldur, sonra blok 1'in bütün dikkatini kaldırmak kafalarının tek başına toplamının iki katından fazlasına mal oluyorsa backup'ı True'ya, ve biggest'i kaldırılması en çok mal olan parçaya ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.