Attention adalah pencarian yang lembut
Kenapa ini penting Attention adalah satu ide baru dalam transformer. Sisanya sudah kamu tahu. Ini adalah pencarian kamus yang, alih-alih memilih satu entri, mencampurkan semuanya.
Lihat sendiri
Mainkan animasinya. Dictionary Python mencocokkan kunci secara tepat dan mengembalikan satu nilai. Attention memiliki query q, daftar keys, dan daftar values. Ia menghitung skor query terhadap setiap kunci dengan dot product, mengubah skor menjadi bobot dengan softmax (positif, totalnya 1), dan mengembalikan rata-rata tertimbang dari nilai-nilainya.
weights = softmax(K @ q)
output = weights @ V
Angka kecil
q = [1, 0]. Kunci [2, 0], [0, 2], [0, 0] memberi skor 2, 0, 0. Softmax: e^2 = 7.39 dan 1 dan 1, jadi bobotnya adalah 0.79, 0.11, 0.11. Dengan nilai 10, 20, 30 hasilnya adalah 0.79 dikali 10 + 0.11 dikali 20 + 0.11 dikali 30 = 13.2: sebagian besar nilai pertama, sedikit dari yang lainnya.
Query, key, value: apa yang aku cari; apa yang ditawarkan setiap item untuk dicocokkan; apa yang diberikan setiap item jika cocok.
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
Tulis attend(q, K, V) untuk satu kueri: kembalikan (weights, output).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.