Silabus Pelajaran 143 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Attention mengatasi hambatan

Kenapa ini penting Attention diciptakan pada 2014 untuk memperbaiki masalah yang kamu ukur di Module 11: sebuah encoder yang memampatkan seluruh kalimat ke dalam satu vektor.

Dalam eksperimen seq2seq-bottleneck yang direkam, decoder dari model attention, di setiap langkah, memperhatikan semua hidden states dari encoder (query-nya adalah state decoder itu sendiri). Ia tidak lagi bergantung pada satu vektor akhir; ia bisa melihat langsung ke digit yang ia butuhkan.

Predict: pada panjang 16, saat model plain benar sekitar 59% digit, berapa yang didapat model attention?

Kata dan simbol di pelajaran ini
query, key, value
apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
Giliranku

Atur my_guess ke angka antara 0 dan 1: tebakanmu untuk akurasi digit model attention pada panjang 16. Isi acc: (model, length) ke rata-rata akurasi digit dari dua seed, untuk kedua model dan keempat panjang, dan gain_at_16.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.