Silabus Pelajaran 83 dari 246 · Modul 6: Bobot awal dan normalisasi
Modul 6: Bobot awal dan normalisasi

LayerNorm dan RMSNorm

Kenapa ini penting Transformers tidak menggunakan BatchNorm. Mereka menormalisasi setiap contoh secara mandiri, yang menghindari jebakan batch yang baru saja kamu temui dan berfungsi untuk ukuran batch apa pun.

  • LayerNorm menormalkan fitur dari setiap contoh (setiap baris): kurangi rata-rata baris, bagi dengan penyebaran baris, lalu gamma dan beta per fitur. Sama saat training dan use.
  • RMSNorm lebih sederhana dan digunakan oleh banyak model bahasa terbaru: lewati mean, lalu bagi setiap baris dengan root mean square-nya, sqrt(mean(x squared) + eps), kemudian kalikan dengan gamma.

Angka kecil

Baris [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm memberikan [0.849, 1.131]. LayerNorm mengurangi rata-rata 3.5 dulu: [-1, 1].

Kata dan simbol di pelajaran ini
Xavier, LeCun, He
memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
BatchNorm (gamma, beta)
normalisasikan setiap fitur di atas batch, lalu skala ulang dengan gamma dan beta yang dipelajari
LayerNorm, RMSNorm
normalisasikan setiap contoh secara mandiri, di seluruh fiturnya
Giliranku

Tulis layernorm(X, gamma, beta, eps=1e-5) dan rmsnorm(X, gamma, eps=1e-6), masing-masing per baris.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.