Apa yang dilakukan BatchNorm pada angka-angka tersebut
Kenapa ini penting BatchNorm membuat jaringan yang sangat dalam bisa dilatih pada tahun 2015. Lihat apa yang dilakukannya pada angka sebelum membangunnya.
Lihat sendiri
Mainkan animasinya. Output dari sebuah layer sampai dengan mean dan spread masing-masing fitur, ada yang sangat besar, ada yang sangat kecil, dan ada yang bergeser. BatchNorm mengambil setiap fitur, di atas batch saat ini, mengurangi mean-nya dan membagi dengan spread-nya. Sekarang setiap fitur punya mean 0 dan spread 1. Lalu ia mengalikan dengan gamma yang dipelajari dan menambah beta yang dipelajari, supaya jaringan bisa memilih skala yang berbeda jika itu membantu.
Catatan jujur: kenapa BatchNorm membantu masih diperdebatkan. Penjelasan makalah aslinya ("internal covariate shift") bukan lagi yang diterima; lanskap loss yang lebih halus dan memungkinkan learning rate yang lebih besar adalah alasan yang lebih didukung. Apa yang dilakukannya pada angka tidak diragukan.
BatchNorm: normalisasi setiap fitur menggunakan statistik dari batch saat ini, lalu skala ulang dengan gamma dan beta yang dipelajari.
Kata dan simbol di pelajaran ini
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
- BatchNorm (gamma, beta)
- normalisasikan setiap fitur di atas batch, lalu skala ulang dengan gamma dan beta yang dipelajari
Prediksi sebelum menghitung: sebuah fitur memiliki nilai [2, 4, 6, 8] dalam satu batch, gamma adalah 3 dan beta adalah 1. Atur my_output ke empat angka yang dihasilkan BatchNorm (gunakan eps = 0). Lalu tulis batchnorm_forward(X, gamma, beta, eps=1e-5) untuk batch 2D.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.