Silabus Pelajaran 147 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Banyak kepala, biaya sama

Kenapa ini penting Satu pola perhatian per layer itu membatasi: sebuah posisi mungkin ingin melihat karakter sebelumnya dan, di saat yang sama, awal kata. Multi-head attention menjalankan beberapa perhatian yang lebih kecil secara berdampingan.

Lihat sendiri

Mainkan animasinya. Bagi d kolom dari Q, K, dan V menjadi H grup berukuran d / H. Setiap grup (sebuah head) melakukan attention sendiri dengan polanya masing-masing. Gabungkan kembali H output secara berdampingan menjadi d kolom, lalu campurkan dengan satu matriks Wo lagi.

Biayanya: matriks yang sama seperti satu head besar, hanya dipotong menjadi beberapa bagian, jadi jumlah parameter tidak berubah. Setiap head lebih sempit, jadi dibagi dengan akar kuadrat dari d / H.

Kata dan simbol di pelajaran ini
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
head
ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Giliranku

Tulis multi_head(X, Wq, Wk, Wv, Wo, H) (tanpa mask), kembalikan output dan daftar matriks perhatian H.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.