سرفصل‌ها درس 81 از 246 · ماژول 6: وزن‌های آغازین و نرمال‌سازی
ماژول 6: وزن‌های آغازین و نرمال‌سازی

گذر رو به عقب BatchNorm روی دسته‌ای از 3 عدد (اختیاری)

چرا مهم است این سخت‌ترین قاعدهٔ رو به عقب در بخش 1 و اختیاری است. درسش: وقتی هر خروجی به هر ورودی وابسته است (از طریق میانگین و پراکندگی)، گرادیان جمله‌های اضافه می‌گیرد.

اول آن را روی یک ویژگی با دسته‌ای از 3 حل کنید. با x_hat = (x - mean) / spread و y = gamma x_hat + beta، گرادیان نسبت به x فقط gamma / spread ضرب در گرادیان رسیده نیست. جابه‌جا کردن یک x میانگین و پراکندگی را حرکت می‌دهد، که هر خروجی دیگری را هم حرکت می‌دهد. نتیجه، برای هر ویژگی، با g گرادیان رسیده و N اندازهٔ دسته:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

آن را این‌طور بخوانید: گرادیان ساده، منهای بخشی که فقط همه چیز را با هم جابه‌جا کرد (جملهٔ میانگین)، منهای بخشی که فقط همه چیز را با هم کشید (جملهٔ پراکندگی). این دو بخش را خود نرمال‌سازی خنثی می‌کند.

اگر گیر کردید، یک راه‌حل کارشده از راهنمایی‌ها باز می‌شود. رد کردن این درس چیزی را مسدود نمی‌کند.

واژه‌ها و نمادهای این درس
Xavier، LeCun، He
پراکندگی‌های آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
BatchNorm (gamma, beta)
هر ویژگی را روی دسته نرمال کنید، سپس با gamma و beta یادگرفته‌شده دوباره مقیاس دهید
نوبت شما

batchnorm_backward(X, gamma, g, eps=1e-5) را بنویسید که برای یک دستهٔ دوبعدی (dX, dgamma, dbeta) را برمی‌گرداند، که g گرادیانی است که به خروجی می‌رسد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.