Müfredat 246 dersinden 220. · Modül 21: Bir modelin içine bakmak
Modül 21: Bir modelin içine bakmak

Bir değeri geri koy: aktivasyon yaması

Neden önemli Aktivasyon yaması (Meng vd. 2022, Wang vd. 2022), bir değeri bir çalıştırmadan diğerine taşıyarak "bu parça cevapla hizalanıyor"u "bu parça cevabı taşıyor"a çevirir.

Bir karakterde farklı olan iki girdi:

  • temiz: "the gradient of the los": GPT sonraki karakter "s"ye 0.91 olasılık veriyor.
  • bozuk: "the gradient of the bos": 0.39.

Bozuk girdiyi çalıştır, ama bir yerde ve bir konumda temiz çalıştırmadaki vektörü yerine koy. "s"nin olasılığı 0.91'e geri sıçrarsa, o vektör "l"nin modele söylediğini taşıyordu. interp.patch(model, clean_ids, bad_ids, site, pos) takası yapar ve logitleri döndürür; interp.next_prob(logits, answer, model) olasılığı okur.

Bunu son beş konum için 'resid0''da (blok 0'dan önce, yani yalnızca gömmeler), 'resid1''de (bloklar arasında) ve 'final''da dene.

Önce tahmin et: 'resid1''de "l" hâlâ kendi konumunda mı taşınıyor, yoksa başka bir yerde mi?

Bu dersteki kelimeler ve semboller
aktivasyon yaması
bir değerin ne taşıdığını görmek için bir girdiyi başka bir girdinin çalıştırmasından alınmış bir değerle çalıştırmak
Senin sıran

my_guess değerini "own position" ya da "somewhere else" olarak ayarla. restored[site]'ı len(clean) - 5'ten sona kadar konum başına bir tane olmak üzere beş olasılıktan oluşan bir listeyle doldur. Sonra where[site]'ı, onu geri getiren konumdaki clean karakterine ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.