Kembalikan satu nilai: activation patching
Kenapa ini penting Activation patching (Meng et al. 2022, Wang et al. 2022) mengubah "bagian ini sejalan dengan jawabannya" menjadi "bagian ini membawa jawabannya", dengan memindahkan satu nilai dari satu run ke run lain.
Dua input yang berbeda satu karakter:
- bersih: "the gradient of the los": GPT memberi karakter berikutnya "s" probabilitas 0.91.
- rusak: "the gradient of the bos": 0.39.
Jalankan input yang rusak, tetapi di satu tempat dan satu posisi, tukar masuk vektor dari run yang bersih. Kalau probabilitas "s" melonjak kembali ke 0.91, vektor itu sedang membawa apa yang diberitahukan "l" kepada model. interp.patch(model, clean_ids, bad_ids, site, pos) melakukan pertukaran itu dan mengembalikan logits; interp.next_prob(logits, answer, model) membaca probabilitasnya.
Coba di 'resid0' (sebelum blok 0, jadi hanya embedding), 'resid1' (di antara blok) dan 'final', untuk lima posisi terakhir.
Tebak dulu: di 'resid1', apakah "l" masih dibawa di posisinya sendiri, atau di tempat lain?
Kata dan simbol di pelajaran ini
- activation patching
- menjalankan satu input dengan sebuah nilai yang diambil dari run input lain, untuk melihat apa yang dibawa nilai itu
Atur my_guess ke "own position" atau "somewhere else". Isi restored[site] dengan daftar lima probabilitas, satu per posisi dari len(clean) - 5 sampai akhir. Lalu atur where[site] ke karakter dari clean pada posisi yang memulihkannya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.