Silabus Pelajaran 145 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Mask kausal: jangan mengintip

Kenapa ini penting Model yang dilatih untuk memprediksi karakter berikutnya tidak boleh melihat karakter berikutnya. Tanpa mask, ia bisa langsung menyalin jawabannya, terlihat bagus saat training, dan kemudian gagal saat generating, karena pada saat generation masa depan belum ada.

Lihat sendiri

Mainkan animasinya. Posisi i hanya boleh memperhatikan posisi 0 sampai i. Sebelum softmax, setiap skor di atas diagonal diatur ke minus infinity, jadi bobotnya menjadi tepat 0. Bobot tersebut kemudian membentuk segitiga bawah.

Tes untuk kebocoran itu langsung: ubah satu karakter di posisi j, dan tidak ada yang dihitung model untuk posisi sebelum j yang boleh berubah.

Saat kursus melatih GPT lebar-32 selama 1,200 langkah tanpa mask, training loss nya turun ke 0.10, dibandingkan 1.51 dengan mask: ia sudah belajar menyalin jawaban dari posisi berikutnya, hampir sempurna. Diukur secara jujur, pada teks yang belum pernah dilihat dan tanpa membiarkannya melihat ke depan, loss nya adalah 8.6 dibandingkan 2.3. Angka yang lebih rendah adalah kebohongan: modelnya jauh lebih buruk. (Di awal, pada 400 langkah, kedua jalannya masih terlihat mirip, 2.28 dibandingkan 2.24. Menyalin butuh waktu untuk ditemukan, dan kemudian itu mengambil alih.)

Kata dan simbol di pelajaran ini
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
causal mask
skor di atas diagonal diatur ke minus infinity: tidak ada posisi yang melihat masa depan
head
ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Giliranku

Tulis causal_attention(X, Wq, Wk, Wv) seperti pelajaran 4 tapi disamarkan. Lalu leaks(f): kembalikan True jika mengubah baris terakhir dari X acak mengubah baris sebelumnya dari output f. Di sini f adalah fungsi attention apa pun yang dipanggil seperti milikmu, f(X, Wq, Wk, Wv), mengembalikan (output, weights); buat X acak dan bobot di dalam leaks.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.