Bir parçayı nasıl kaldırdığın cevabı değiştirir
Neden önemli "Bu parçayı kaldırmak kaybı X kadar yükseltiyor" parça hakkında bir gerçek gibi duyulur. Bir kısmı, nasıl kaldırıldığı hakkında bir gerçektir.
Modül 21'de GPT'nin parçalarını çıktılarını sıfıra ayarlayarak kaldırdın. Ama ağın geri kalanı eğitimde orada hiç sıfır görmedi: sıfır hiç karşılaşmadığı bir girdi olabilir, bu yüzden hasar bilgi kaybını olduğu kadar şoku da ölçer. Daha nazik bir kaldırma çıktıyı birçok girdi üzerinden ortalamasıyla değiştirir (ortalama ablasyonu): parça bu girdi hakkında hiçbir şey taşımayı bırakır, ama sonraki katman hâlâ olağan boyutta bir değer alır.
Dört parça için ikisini de ölç: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Ortalama cache[site].mean((0, 1))'den gelir.
Önce tahmin et: blok 0'ın MLP'si için ortalama ablasyonu sıfırlamaktan daha az mı mal olacak, yoksa aşağı yukarı aynı mı?
Bu dersteki kelimeler ve semboller
- ortalama ablasyonu
- bir parçanın çıktısını sıfır yerine ortalamasıyla değiştirmek
my_guess değerini "less" ya da "same" olarak ayarla. zero[site] ve mean[site]'i kayıptaki yükselişle doldur. most_overstated'i sıfırlamanın etkiyi en çok abarttığı parçaya ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.