Silabus Pelajaran 142 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Kenapa harus dibagi dengan akar kuadrat dari d

Kenapa ini penting Setiap transformer membagi skor perhatiannya dengan akar kuadrat dari ukuran key. Jika kamu melewatkannya, perhatian akan berhenti bercampur dan gradiennya hampir hilang. Kamu akan mengukur alasannya.

A dot product dari dua vektor acak dengan panjang d menjumlahkan d hasil perkalian. Masing-masing punya sebaran sekitar 1, jadi jumlahnya punya sebaran sekitar akar kuadrat dari d. Alasannya: saat kamu menjumlahkan angka acak yang independen, sebaran mereka tidak bertambah, tapi kuadratnya bertambah (kuadrat disebut varians). d hasil perkalian, masing-masing dengan varians 1, memberikan varians d, jadi sebarannya adalah akar kuadrat dari d. Untuk d = 64 itu adalah 8.

Skor yang tersebar lebih dari plus dan minus 8 membuat softmax hampir menjadi one-hot: satu bobot mendekati 1, sisanya mendekati 0. Softmax one-hot punya gradien kecil: kemiringan setiap output terhadap skornya sendiri adalah p(1 - p), yang mendekati 0 saat p mendekati 0 atau 1 (pelajaran softmax-gradient di Modul 2 menurunkannya, dan pelajaran backward-through-attention di modul ini menggunakannya), jadi model belajar dengan lambat. Membagi dengan akar kuadrat dari d mengembalikan sebaran ke sekitar 1, berapapun nilai d.

Predict: saat d bertambah dari 4 ke 256, apa yang terjadi pada bobot terbesar, dengan dan tanpa pembagian?

Kata dan simbol di pelajaran ini
query, key, value
apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
Giliranku

Isi

my_guess. Lalu tulis top_weight(d, scaled): 2,000 query acak terhadap 32 kunci acak masing-masing (angka normal, seed 0), rata-rata dari bobot softmax terbesar. Isi measured.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.