Silabus Pelajaran 150 dari 246 · Modul 13: Attention dan transformers
Modul 13: Attention dan transformers

Layer norm: jaga setiap vektor dalam rentang

Kenapa ini penting Modul 6 menjaga aktivasi tetap sehat dengan batch norm, yang merata-ratakan seluruh batch. Batch teks bervariasi panjangnya dan proses generasi menjalankan satu urutan sekaligus, jadi transformer menormalisasi vektor setiap posisi secara mandiri: layer norm.

Untuk satu vektor x berisi d angka: kurangi rata-ratanya, bagi dengan standar deviasinya (tambah epsilon kecil, 1e-5, supaya kita tidak pernah membagi dengan 0), lalu skala dan geser dengan g dan b yang dipelajari:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

Vektor setiap token masuk ke setiap bagian attention dan feed-forward dengan rata-rata 0 dan sebaran 1, tidak peduli seberapa besar jumlah yang berjalan telah bertambah.

Kata dan simbol di pelajaran ini
perhatian
softmax dari skor query-key, digunakan untuk merata-ratakan nilai
layer norm
normalise setiap vektor masing-masing: mean 0, spread 1, lalu kali g plus b
Giliranku

Tulis layer_norm(x, g, b) untuk array dengan bentuk apa pun, melakukan normalisasi di sepanjang sumbu terakhir. Ini harus sesuai dengan layernorm.

dari house engine.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.