Self-attention: setiap posisi bertanya ke setiap posisi lainnya
Kenapa ini penting Di dalam transformer tidak ada encoder terpisah untuk dilihat kembali. Setiap posisi teks memperhatikan posisi lainnya, jadi vektor setiap karakter diperbarui dengan informasi dari sisa kalimat.
Mulai dengan X, satu baris per posisi (t baris, d kolom). Tiga matriks yang dipelajari membuat query, key, dan value setiap posisi sekaligus:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
Ini adalah soft lookup dari pelajaran 1, dilakukan untuk semua kueri t sekaligus dengan dua perkalian matriks, itulah sebabnya ini berjalan sangat baik pada rutinitas matematika cepat.
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- self-attention
- setiap posisi memperhatikan posisi dari teks yang sama
Tulis self_attention(X, Wq, Wk, Wv) yang mengembalikan (out, A).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.