Forward BatchNorm dan rata-rata berjalan
Kenapa ini penting Saat pelatihan, BatchNorm menggunakan statistik dari batch itu sendiri. Ketika model digunakan pada satu contoh saja, tidak ada batch, jadi ia harus mengingat statistik umum dari pelatihan.
Saat pelatihan, simpan running averages dari rata-rata dan varians setiap fitur: running = (1 - momentum) * running + momentum * batch_value, dengan momentum 0.1. Dalam mode evaluasi, normalisasi dengan nilai running tersebut alih-alih nilai batch.
Mode pelatihan: gunakan statistik batch dan perbarui rata-rata berjalan. Eval mode: gunakan rata-rata berjalan yang disimpan dan jangan ubah apa pun.
Kata dan simbol di pelajaran ini
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
- BatchNorm (gamma, beta)
- normalisasikan setiap fitur di atas batch, lalu skala ulang dengan gamma dan beta yang dipelajari
Tulis class BatchNorm(n, momentum=0.1, eps=1e-5) dengan gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), flag training (mulai True) dan __call__(X) yang berperilaku seperti yang dijelaskan. Untuk running_var, varians batch seperti yang dihitung np.var (membagi dengan n) adalah pilihan kursus; PyTorch menyimpan yang tidak bias (membagi dengan n - 1), dan keduanya diterima.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.