Mask kausal: jangan mengintip
Kenapa ini penting Model yang dilatih untuk memprediksi karakter berikutnya tidak boleh melihat karakter berikutnya. Tanpa mask, ia bisa langsung menyalin jawabannya, terlihat bagus saat training, dan kemudian gagal saat generating, karena pada saat generation masa depan belum ada.
Lihat sendiri
Mainkan animasinya. Posisi i hanya boleh memperhatikan posisi 0 sampai i. Sebelum softmax, setiap skor di atas diagonal diatur ke minus infinity, jadi bobotnya menjadi tepat 0. Bobot tersebut kemudian membentuk segitiga bawah.
Tes untuk kebocoran itu langsung: ubah satu karakter di posisi j, dan tidak ada yang dihitung model untuk posisi sebelum j yang boleh berubah.
Saat kursus melatih GPT lebar-32 selama 1,200 langkah tanpa mask, training loss nya turun ke 0.10, dibandingkan 1.51 dengan mask: ia sudah belajar menyalin jawaban dari posisi berikutnya, hampir sempurna. Diukur secara jujur, pada teks yang belum pernah dilihat dan tanpa membiarkannya melihat ke depan, loss nya adalah 8.6 dibandingkan 2.3. Angka yang lebih rendah adalah kebohongan: modelnya jauh lebih buruk. (Di awal, pada 400 langkah, kedua jalannya masih terlihat mirip, 2.28 dibandingkan 2.24. Menyalin butuh waktu untuk ditemukan, dan kemudian itu mengambil alih.)
Kata dan simbol di pelajaran ini
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- causal mask
- skor di atas diagonal diatur ke minus infinity: tidak ada posisi yang melihat masa depan
- head
- ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Tulis causal_attention(X, Wq, Wk, Wv) seperti pelajaran 4 tapi disamarkan. Lalu leaks(f): kembalikan True jika mengubah baris terakhir dari X acak mengubah baris sebelumnya dari output f. Di sini f adalah fungsi attention apa pun yang dipanggil seperti milikmu, f(X, Wq, Wk, Wv), mengembalikan (output, weights); buat X acak dan bobot di dalam leaks.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.