Silabus Pelajaran 155 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Apa yang dilihat oleh head

Kenapa ini penting Bobot perhatian bisa dibaca. Melihat apa yang dilakukan head yang dilatih adalah awal dari interpretabilitas: memahami model dari bagian dalamnya, bukan hanya dari outputnya.

Model width-64 yang dicatat punya 2 layer dengan 4 heads. Untuk setiap head, ukur berapa banyak perhatian, rata-rata, sebuah posisi berikan ke karakter tepat sebelumnya. Jika sebuah head menyebarkan perhatiannya secara merata ke semua yang bisa dilihatnya, angka itu akan sekitar 0.10 pada potongan 32-karakter.

Predict: kepala layer mana yang spesialis dalam "lihat karakter sebelumnya"?

Kata dan simbol di pelajaran ini
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
head
ona perhatian H yang lebih sempit berjalan berdampingan, masing-masing dengan polanya sendiri
Giliranku

Atur my_guess ke 0 atau 1. Tulis prev_share(A) untuk satu matriks attention t kali t: rata-rata dari A[i, i - 1] untuk i dari 1 sampai t - 1. Isi share: (layer, head) dengan rata-rata prev_share dari 40 potongan yang disimpan, menggunakan attention_maps.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.