Müfredat 246 dersinden 231. · Modül 22: İddiaları yargılamak
Modül 22: İddiaları yargılamak

Bir parçayı nasıl kaldırdığın cevabı değiştirir

Neden önemli "Bu parçayı kaldırmak kaybı X kadar yükseltiyor" parça hakkında bir gerçek gibi duyulur. Bir kısmı, nasıl kaldırıldığı hakkında bir gerçektir.

Modül 21'de GPT'nin parçalarını çıktılarını sıfıra ayarlayarak kaldırdın. Ama ağın geri kalanı eğitimde orada hiç sıfır görmedi: sıfır hiç karşılaşmadığı bir girdi olabilir, bu yüzden hasar bilgi kaybını olduğu kadar şoku da ölçer. Daha nazik bir kaldırma çıktıyı birçok girdi üzerinden ortalamasıyla değiştirir (ortalama ablasyonu): parça bu girdi hakkında hiçbir şey taşımayı bırakır, ama sonraki katman hâlâ olağan boyutta bir değer alır.

Dört parça için ikisini de ölç: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Ortalama cache[site].mean((0, 1))'den gelir.

Önce tahmin et: blok 0'ın MLP'si için ortalama ablasyonu sıfırlamaktan daha az mı mal olacak, yoksa aşağı yukarı aynı mı?

Bu dersteki kelimeler ve semboller
ortalama ablasyonu
bir parçanın çıktısını sıfır yerine ortalamasıyla değiştirmek
Senin sıran

my_guess değerini "less" ya da "same" olarak ayarla. zero[site] ve mean[site]'i kayıptaki yükselişle doldur. most_overstated'i sıfırlamanın etkiyi en çok abarttığı parçaya ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.