Tonton: Attention Weights
Kamu baru saja mengimplementasikan scaled dot-product attention. Inilah yang sebenarnya dilakukan oleh matriks tersebut do. Attention membuat setiap kata melihat setiap kata dalam kalimat (termasuk dirinya sendiri), menilai seberapa penting masing-masing, dan membangun kembali dirinya sebagai weighted blend dari kata-kata tersebut.
Tekan play. Perhatikan kata sat melintasi the cat sat: skor mentah menjadi bobot softmax yang jumlahnya 1, garis tertebal menunjuk ke kata yang paling penting, dan sat menyerap konteksnya, sebagian besar dari cat.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.