Silabus Pelajaran 141 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Attention adalah pencarian yang lembut

Kenapa ini penting Attention adalah satu ide baru dalam transformer. Sisanya sudah kamu tahu. Ini adalah pencarian kamus yang, alih-alih memilih satu entri, mencampurkan semuanya.

Lihat sendiri

Mainkan animasinya. Dictionary Python mencocokkan kunci secara tepat dan mengembalikan satu nilai. Attention memiliki query q, daftar keys, dan daftar values. Ia menghitung skor query terhadap setiap kunci dengan dot product, mengubah skor menjadi bobot dengan softmax (positif, totalnya 1), dan mengembalikan rata-rata tertimbang dari nilai-nilainya.

weights = softmax(K @ q)
output  = weights @ V

Angka kecil

q = [1, 0]. Kunci [2, 0], [0, 2], [0, 0] memberi skor 2, 0, 0. Softmax: e^2 = 7.39 dan 1 dan 1, jadi bobotnya adalah 0.79, 0.11, 0.11. Dengan nilai 10, 20, 30 hasilnya adalah 0.79 dikali 10 + 0.11 dikali 20 + 0.11 dikali 30 = 13.2: sebagian besar nilai pertama, sedikit dari yang lainnya.

Query, key, value: apa yang aku cari; apa yang ditawarkan setiap item untuk dicocokkan; apa yang diberikan setiap item jika cocok.

Kata dan simbol di pelajaran ini
query, key, value
apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
Giliranku

Tulis attend(q, K, V) untuk satu kueri: kembalikan (weights, output).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.