Attention tidak punya urutan
Kenapa ini penting "Dog bites man" dan "man bites dog" menggunakan kata yang sama. Self-attention, sendirian, tidak bisa membedakannya. Melihat alasannya menjelaskan bahan tambahan yang ditambahkan setiap transformer.
Acak baris X dan baris output self-attention diacak dengan cara yang sama, tidak ada yang lain yang berubah. Hasil setiap posisi bergantung pada vektor mana yang ada, bukan di mana mereka berada. (Dengan causal mask ini tidak sepenuhnya benar: posisi i melihat tepat i + 1 token, jadi model bisa belajar menghitungnya, dan model kausal tanpa vektor posisi memang belajar urutan dengan cara itu. Tapi itu lambat dan tidak bisa diandalkan; vektor posisi yang eksplisit membuat urutan jadi mudah.)
Jadi transformers menambahkan vektor posisi ke setiap embedding token sebelum layer pertama. GPT yang dicatat mempelajari satu vektor per posisi, ada 32 vektor. Apa yang terjadi pada prediksinya jika kita menghapusnya?
Kata dan simbol di pelajaran ini
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- self-attention
- setiap posisi memperhatikan posisi dari teks yang sama
- causal mask
- skor di atas diagonal diatur ke minus tak hingga: tidak ada posisi yang melihat masa depan
- vektor posisi
- ditambahkan ke setiap token supaya attention bisa tahu urutan
Tulis shuffle_check(f): True jika mengacak baris dari X acak mengacak baris output f dengan cara yang sama. Di sini f(X, Wq, Wk, Wv) hanya mengembalikan output, seperti attn di bawah; buat X acak dan weights di dalam shuffle_check. Lalu isi with_pos dan without_pos: loss yang ditahan dari model yang dicatat (model.eval_loss(held, n=32)) apa adanya dan dengan model.P["pos"].data diatur ke nol (kembalikan lagi setelahnya).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.