Müfredat 246 dersinden 221. · Modül 21: Bir modelin içine bakmak
Modül 21: Bir modelin içine bakmak

Hangi parçalar önemli

Neden önemli Bir parçayı açıklamadan önce bir şey yapıp yapmadığını bul. Parçaları kaldırmak (ablasyon) ölçebileceğin en ucuz etkidir, ve nereye baktığını değiştirir.

GPT'nin her bloğunun bir dikkat kısmı ('attn_out0', 'attn_out1''e yazar) ve bir MLP'si ('mlp_out0', 'mlp_out1''e yazar) var. Birer birer kaldır (çıktısını sıfıra ayarla) ve ayrılmış veri kaybındaki yükselişi ölç. Sonra blok 1'in dört kafasının her birini interp.head_effects(model, X, Y, 1) ile birer birer kaldır.

Bir risk: iki kafa aynı işi yapıyorsa, ikisinden birini tek başına kaldırmak neredeyse hiçbir şey göstermez. Bu yüzden toplanmış dört tek kafa yükselişini blok 1'in bütün dikkatini aynı anda kaldırmakla da karşılaştır. Onları birlikte kaldırmak toplamdan çok daha fazla zarar veriyorsa, birbirlerini yedekliyorlar.

Bu dersteki kelimeler ve semboller
örüntü, etki, mekanizma
üç tür kanıt: baktın ve gördün; değiştirdin ve çıktı değişti; açıkladın ve açıklama yeni durumları tahmin etti
ablasyon
bir parçayı kaldırmak (çıktısını sıfıra ayarlamak) ve neyin değiştiğini ölçmek
Senin sıran

Dört parça için rise'ı, heads1'i dört tek kafa yükselişiyle doldur, sonra blok 1'in bütün dikkatini kaldırmak kafalarının tek başına toplamının iki katından fazlasına mal oluyorsa backup'ı True'ya, ve biggest'i kaldırılması en çok mal olan parçaya ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.