Kenapa harus dibagi dengan akar kuadrat dari d
Kenapa ini penting Setiap transformer membagi skor perhatiannya dengan akar kuadrat dari ukuran key. Jika kamu melewatkannya, perhatian akan berhenti bercampur dan gradiennya hampir hilang. Kamu akan mengukur alasannya.
A dot product dari dua vektor acak dengan panjang d menjumlahkan d hasil perkalian. Masing-masing punya sebaran sekitar 1, jadi jumlahnya punya sebaran sekitar akar kuadrat dari d. Alasannya: saat kamu menjumlahkan angka acak yang independen, sebaran mereka tidak bertambah, tapi kuadratnya bertambah (kuadrat disebut varians). d hasil perkalian, masing-masing dengan varians 1, memberikan varians d, jadi sebarannya adalah akar kuadrat dari d. Untuk d = 64 itu adalah 8.
Skor yang tersebar lebih dari plus dan minus 8 membuat softmax hampir menjadi one-hot: satu bobot mendekati 1, sisanya mendekati 0. Softmax one-hot punya gradien kecil: kemiringan setiap output terhadap skornya sendiri adalah p(1 - p), yang mendekati 0 saat p mendekati 0 atau 1 (pelajaran softmax-gradient di Modul 2 menurunkannya, dan pelajaran backward-through-attention di modul ini menggunakannya), jadi model belajar dengan lambat. Membagi dengan akar kuadrat dari d mengembalikan sebaran ke sekitar 1, berapapun nilai d.
Predict: saat d bertambah dari 4 ke 256, apa yang terjadi pada bobot terbesar, dengan dan tanpa pembagian?
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
Isi
my_guess. Lalu tulis top_weight(d, scaled): 2,000 query acak terhadap 32 kunci acak masing-masing (angka normal, seed 0), rata-rata dari bobot softmax terbesar. Isi measured.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.