Cara kamu menghapus bagian mengubah jawabannya
Kenapa ini penting "Menghapus bagian ini meningkatkan loss sebesar X" terdengar seperti fakta tentang bagian tersebut. Sebagian darinya adalah fakta tentang bagaimana bagian itu dihapus.
Di Modul 21 kamu menghapus bagian GPT dengan mengatur outputnya ke nol. Tapi sisa jaringan tidak pernah melihat nol di sana saat training: nol mungkin input yang belum pernah ia temui, jadi kerusakan mengukur guncangan sekaligus hilangnya informasi. Penghapusan yang lebih halus mengganti output dengan average dari banyak input (mean ablation): bagian tersebut berhenti membawa apa pun tentang input ini, tapi layer berikutnya tetap mendapat nilai dengan ukuran biasanya.
Ukur kedua bagian untuk empat bagian: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Rata-ratanya berasal dari cache[site].mean((0, 1)).
Prediksi dulu: untuk MLP blok 0, apakah mean ablation biayanya lebih kecil dari zeroing, atau sekitar sama?
Kata dan simbol di pelajaran ini
- berarti ablasi
- mengganti output bagian dengan rata-ratanya alih-alih nol
Atur my_guess ke "less" atau "same". Isi zero[site] dan mean[site] dengan kenaikan loss. Atur most_overstated ke bagian di mana zeroing melebih-lebihkan efek paling banyak.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.