Layer norm: jaga setiap vektor dalam rentang
Kenapa ini penting Modul 6 menjaga aktivasi tetap sehat dengan batch norm, yang merata-ratakan seluruh batch. Batch teks bervariasi panjangnya dan proses generasi menjalankan satu urutan sekaligus, jadi transformer menormalisasi vektor setiap posisi secara mandiri: layer norm.
Untuk satu vektor x berisi d angka: kurangi rata-ratanya, bagi dengan standar deviasinya (tambah epsilon kecil, 1e-5, supaya kita tidak pernah membagi dengan 0), lalu skala dan geser dengan g dan b yang dipelajari:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Vektor setiap token masuk ke setiap bagian attention dan feed-forward dengan rata-rata 0 dan sebaran 1, tidak peduli seberapa besar jumlah yang berjalan telah bertambah.
Kata dan simbol di pelajaran ini
- perhatian
- softmax dari skor query-key, digunakan untuk merata-ratakan nilai
- layer norm
- normalise setiap vektor masing-masing: mean 0, spread 1, lalu kali g plus b
Tulis layer_norm(x, g, b) untuk array dengan bentuk apa pun, melakukan normalisasi di sepanjang sumbu terakhir. Ini harus sesuai dengan layernorm.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.