Bir değeri geri koy: aktivasyon yaması
Neden önemli Aktivasyon yaması (Meng vd. 2022, Wang vd. 2022), bir değeri bir çalıştırmadan diğerine taşıyarak "bu parça cevapla hizalanıyor"u "bu parça cevabı taşıyor"a çevirir.
Bir karakterde farklı olan iki girdi:
- temiz: "the gradient of the los": GPT sonraki karakter "s"ye 0.91 olasılık veriyor.
- bozuk: "the gradient of the bos": 0.39.
Bozuk girdiyi çalıştır, ama bir yerde ve bir konumda temiz çalıştırmadaki vektörü yerine koy. "s"nin olasılığı 0.91'e geri sıçrarsa, o vektör "l"nin modele söylediğini taşıyordu. interp.patch(model, clean_ids, bad_ids, site, pos) takası yapar ve logitleri döndürür; interp.next_prob(logits, answer, model) olasılığı okur.
Bunu son beş konum için 'resid0''da (blok 0'dan önce, yani yalnızca gömmeler), 'resid1''de (bloklar arasında) ve 'final''da dene.
Önce tahmin et: 'resid1''de "l" hâlâ kendi konumunda mı taşınıyor, yoksa başka bir yerde mi?
Bu dersteki kelimeler ve semboller
- aktivasyon yaması
- bir değerin ne taşıdığını görmek için bir girdiyi başka bir girdinin çalıştırmasından alınmış bir değerle çalıştırmak
my_guess değerini "own position" ya da "somewhere else" olarak ayarla. restored[site]'ı len(clean) - 5'ten sona kadar konum başına bir tane olmak üzere beş olasılıktan oluşan bir listeyle doldur. Sonra where[site]'ı, onu geri getiren konumdaki clean karakterine ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.