Silabus Pelajaran 231 dari 246 · Modul 22: Menilai klaim
Modul 22: Menilai klaim

Cara kamu menghapus bagian mengubah jawabannya

Kenapa ini penting "Menghapus bagian ini meningkatkan loss sebesar X" terdengar seperti fakta tentang bagian tersebut. Sebagian darinya adalah fakta tentang bagaimana bagian itu dihapus.

Di Modul 21 kamu menghapus bagian GPT dengan mengatur outputnya ke nol. Tapi sisa jaringan tidak pernah melihat nol di sana saat training: nol mungkin input yang belum pernah ia temui, jadi kerusakan mengukur guncangan sekaligus hilangnya informasi. Penghapusan yang lebih halus mengganti output dengan average dari banyak input (mean ablation): bagian tersebut berhenti membawa apa pun tentang input ini, tapi layer berikutnya tetap mendapat nilai dengan ukuran biasanya.

Ukur kedua bagian untuk empat bagian: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Rata-ratanya berasal dari cache[site].mean((0, 1)).

Prediksi dulu: untuk MLP blok 0, apakah mean ablation biayanya lebih kecil dari zeroing, atau sekitar sama?

Kata dan simbol di pelajaran ini
berarti ablasi
mengganti output bagian dengan rata-ratanya alih-alih nol
Giliranku

Atur my_guess ke "less" atau "same". Isi zero[site] dan mean[site] dengan kenaikan loss. Atur most_overstated ke bagian di mana zeroing melebih-lebihkan efek paling banyak.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.