LayerNorm dan RMSNorm
Kenapa ini penting Transformers tidak menggunakan BatchNorm. Mereka menormalisasi setiap contoh secara mandiri, yang menghindari jebakan batch yang baru saja kamu temui dan berfungsi untuk ukuran batch apa pun.
- LayerNorm menormalkan fitur dari setiap contoh (setiap baris): kurangi rata-rata baris, bagi dengan penyebaran baris, lalu gamma dan beta per fitur. Sama saat training dan use.
- RMSNorm lebih sederhana dan digunakan oleh banyak model bahasa terbaru: lewati mean, lalu bagi setiap baris dengan root mean square-nya,
sqrt(mean(x squared) + eps), kemudian kalikan dengan gamma.
Angka kecil
Baris [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm memberikan [0.849, 1.131]. LayerNorm mengurangi rata-rata 3.5 dulu: [-1, 1].
Kata dan simbol di pelajaran ini
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
- BatchNorm (gamma, beta)
- normalisasikan setiap fitur di atas batch, lalu skala ulang dengan gamma dan beta yang dipelajari
- LayerNorm, RMSNorm
- normalisasikan setiap contoh secara mandiri, di seluruh fiturnya
Tulis layernorm(X, gamma, beta, eps=1e-5) dan rmsnorm(X, gamma, eps=1e-6), masing-masing per baris.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.