Apa yang dilihat oleh head
Kenapa ini penting Bobot perhatian bisa dibaca. Melihat apa yang dilakukan head yang dilatih adalah awal dari interpretabilitas: memahami model dari bagian dalamnya, bukan hanya dari outputnya.
Model width-64 yang dicatat punya 2 layer dengan 4 heads. Untuk setiap head, ukur berapa banyak perhatian, rata-rata, sebuah posisi berikan ke karakter tepat sebelumnya. Jika sebuah head menyebarkan perhatiannya secara merata ke semua yang bisa dilihatnya, angka itu akan sekitar 0.10 pada potongan 32-karakter.
Predict: kepala layer mana yang spesialis dalam "lihat karakter sebelumnya"?
Kata dan simbol di pelajaran ini
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- head
- ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Atur my_guess ke 0 atau 1. Tulis prev_share(A) untuk satu matriks attention t kali t: rata-rata dari A[i, i - 1] untuk i dari 1 sampai t - 1. Isi share: (layer, head) dengan rata-rata prev_share dari 40 potongan yang disimpan, menggunakan attention_maps.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.