سرفصل‌ها درس 79 از 246 · ماژول 6: وزن‌های آغازین و نرمال‌سازی
ماژول 6: وزن‌های آغازین و نرمال‌سازی

BatchNorm با اعداد چه می‌کند

چرا مهم است BatchNorm در 2015 شبکه‌های بسیار عمیق را قابل آموزش کرد. پیش از ساختنش ببینید با اعداد چه می‌کند.

آن را ببینید

پویانمایی را پخش کنید. خروجی‌های یک لایه با میانگین و پراکندگی خودشان برای هر ویژگی می‌رسند، بعضی عظیم، بعضی ریز، بعضی جابه‌جاشده. BatchNorm هر ویژگی را، روی دستهٔ فعلی، می‌گیرد، میانگینش را کم می‌کند و بر پراکندگی‌اش تقسیم می‌کند. اکنون هر ویژگی میانگین 0 و پراکندگی 1 دارد. سپس در یک gamma یادگرفته‌شده ضرب می‌کند و یک beta یادگرفته‌شده اضافه می‌کند، تا شبکه اگر کمک کند بتواند مقیاس دیگری انتخاب کند.

یک یادداشت صادقانه: اینکه چرا BatchNorm کمک می‌کند هنوز محل بحث است. توضیح مقالهٔ اصلی («جابه‌جایی کوواریانس درونی») دیگر پذیرفته نیست؛ چشم‌اندازهای زیان هموارتر و امکان نرخ‌های یادگیری بزرگ‌تر دلایلی با پشتوانهٔ بهترند. اینکه با اعداد چه می‌کند جای تردید ندارد.

BatchNorm: هر ویژگی را با آمارهای دستهٔ فعلی نرمال کنید، سپس با gamma و beta یادگرفته‌شده دوباره مقیاس دهید.

واژه‌ها و نمادهای این درس
Xavier، LeCun، He
پراکندگی‌های آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
BatchNorm (gamma, beta)
هر ویژگی را روی دسته نرمال کنید، سپس با gamma و beta یادگرفته‌شده دوباره مقیاس دهید
نوبت شما

پیش از محاسبه پیش‌بینی کنید: یک ویژگی در یک دسته مقدارهای [2, 4, 6, 8] دارد، gamma برابر 3 و beta برابر 1 است. my_output را برابر چهار عددی قرار دهید که BatchNorm تولید می‌کند (از eps = 0 استفاده کنید). سپس batchnorm_forward(X, gamma, beta, eps=1e-5) را برای یک دستهٔ دوبعدی بنویسید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.