گذر رو به عقب BatchNorm روی دستهای از 3 عدد (اختیاری)
چرا مهم است این سختترین قاعدهٔ رو به عقب در بخش 1 و اختیاری است. درسش: وقتی هر خروجی به هر ورودی وابسته است (از طریق میانگین و پراکندگی)، گرادیان جملههای اضافه میگیرد.
اول آن را روی یک ویژگی با دستهای از 3 حل کنید. با x_hat = (x - mean) / spread و y = gamma x_hat + beta، گرادیان نسبت به x فقط gamma / spread ضرب در گرادیان رسیده نیست. جابهجا کردن یک x میانگین و پراکندگی را حرکت میدهد، که هر خروجی دیگری را هم حرکت میدهد. نتیجه، برای هر ویژگی، با g گرادیان رسیده و N اندازهٔ دسته:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
آن را اینطور بخوانید: گرادیان ساده، منهای بخشی که فقط همه چیز را با هم جابهجا کرد (جملهٔ میانگین)، منهای بخشی که فقط همه چیز را با هم کشید (جملهٔ پراکندگی). این دو بخش را خود نرمالسازی خنثی میکند.
اگر گیر کردید، یک راهحل کارشده از راهنماییها باز میشود. رد کردن این درس چیزی را مسدود نمیکند.
واژهها و نمادهای این درس
- Xavier، LeCun، He
- پراکندگیهای آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
- BatchNorm (gamma, beta)
- هر ویژگی را روی دسته نرمال کنید، سپس با gamma و beta یادگرفتهشده دوباره مقیاس دهید
batchnorm_backward(X, gamma, g, eps=1e-5) را بنویسید که برای یک دستهٔ دوبعدی (dX, dgamma, dbeta) را برمیگرداند، که g گرادیانی است که به خروجی میرسد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.