Attention mengatasi hambatan
Kenapa ini penting Attention diciptakan pada 2014 untuk memperbaiki masalah yang kamu ukur di Module 11: sebuah encoder yang memampatkan seluruh kalimat ke dalam satu vektor.
Dalam eksperimen seq2seq-bottleneck yang direkam, decoder dari model attention, di setiap langkah, memperhatikan semua hidden states dari encoder (query-nya adalah state decoder itu sendiri). Ia tidak lagi bergantung pada satu vektor akhir; ia bisa melihat langsung ke digit yang ia butuhkan.
Predict: pada panjang 16, saat model plain benar sekitar 59% digit, berapa yang didapat model attention?
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
Atur my_guess ke angka antara 0 dan 1: tebakanmu untuk akurasi digit model attention pada panjang 16. Isi acc: (model, length) ke rata-rata akurasi digit dari dua seed, untuk kedua model dan keempat panjang, dan gain_at_16.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.