Banyak kepala, biaya sama
Kenapa ini penting Satu pola perhatian per layer itu membatasi: sebuah posisi mungkin ingin melihat karakter sebelumnya dan, di saat yang sama, awal kata. Multi-head attention menjalankan beberapa perhatian yang lebih kecil secara berdampingan.
Lihat sendiri
Mainkan animasinya. Bagi d kolom dari Q, K, dan V menjadi H grup berukuran d / H. Setiap grup (sebuah head) melakukan attention sendiri dengan polanya masing-masing. Gabungkan kembali H output secara berdampingan menjadi d kolom, lalu campurkan dengan satu matriks Wo lagi.
Biayanya: matriks yang sama seperti satu head besar, hanya dipotong menjadi beberapa bagian, jadi jumlah parameter tidak berubah. Setiap head lebih sempit, jadi dibagi dengan akar kuadrat dari d / H.
Kata dan simbol di pelajaran ini
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- head
- ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Tulis multi_head(X, Wq, Wk, Wv, Wo, H) (tanpa mask), kembalikan output dan daftar matriks perhatian H.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.