BatchNorm backward pada batch berisi 3 angka (opsional)
Kenapa ini penting Ini adalah aturan mundur tersulit di Bagian 1, dan bersifat opsional. Pelajarannya: ketika setiap output bergantung pada setiap input (melalui mean dan spread), gradient akan mengambil istilah tambahan.
Kerjakan satu fitur dengan batch berisi 3 dulu. Dengan x_hat = (x - mean) / spread dan y = gamma x_hat + beta, gradien terhadap x bukan sekadar gamma / spread dikali gradien yang datang. Menggeser satu x mengubah mean dan spread, yang juga menggeser setiap output lainnya. Hasilnya, per fitur, dengan g sebagai gradien yang datang dan N sebagai batch size:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Baca sebagai: gradien polos, dikurangi bagian yang hanya menggeser semuanya bersamaan (istilah mean), dikurangi bagian yang hanya meregangkan semuanya bersamaan (istilah spread). Kedua bagian itu dibatalkan oleh normalisasi itu sendiri.
A solusi yang dikerjakan terbuka dari petunjuk jika kamu merasa buntu. Melewati pelajaran ini tidak akan menghambat apa pun.
Kata dan simbol di pelajaran ini
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
- BatchNorm (gamma, beta)
- normalisasikan setiap fitur di atas batch, lalu skala ulang dengan gamma dan beta yang dipelajari
Tulis batchnorm_backward(X, gamma, g, eps=1e-5) yang mengembalikan (dX, dgamma, dbeta) untuk batch 2D, di mana g adalah gradien yang sampai di output.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.