Silabus Pelajaran 81 dari 246 · Modul 6: Bobot awal dan normalisasi
Modul 6: Bobot awal dan normalisasi

BatchNorm backward pada batch berisi 3 angka (opsional)

Kenapa ini penting Ini adalah aturan mundur tersulit di Bagian 1, dan bersifat opsional. Pelajarannya: ketika setiap output bergantung pada setiap input (melalui mean dan spread), gradient akan mengambil istilah tambahan.

Kerjakan satu fitur dengan batch berisi 3 dulu. Dengan x_hat = (x - mean) / spread dan y = gamma x_hat + beta, gradien terhadap x bukan sekadar gamma / spread dikali gradien yang datang. Menggeser satu x mengubah mean dan spread, yang juga menggeser setiap output lainnya. Hasilnya, per fitur, dengan g sebagai gradien yang datang dan N sebagai batch size:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

Baca sebagai: gradien polos, dikurangi bagian yang hanya menggeser semuanya bersamaan (istilah mean), dikurangi bagian yang hanya meregangkan semuanya bersamaan (istilah spread). Kedua bagian itu dibatalkan oleh normalisasi itu sendiri.

A solusi yang dikerjakan terbuka dari petunjuk jika kamu merasa buntu. Melewati pelajaran ini tidak akan menghambat apa pun.

Kata dan simbol di pelajaran ini
Xavier, LeCun, He
memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
BatchNorm (gamma, beta)
normalisasikan setiap fitur di atas batch, lalu skala ulang dengan gamma dan beta yang dipelajari
Giliranku

Tulis batchnorm_backward(X, gamma, g, eps=1e-5) yang mengembalikan (dX, dgamma, dbeta) untuk batch 2D, di mana g adalah gradien yang sampai di output.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.