سرفصل‌ها درس 76 از 246 · ماژول 6: وزن‌های آغازین و نرمال‌سازی
ماژول 6: وزن‌های آغازین و نرمال‌سازی

خیلی کوچک، خیلی بزرگ: محو شدن و انفجار

چرا مهم است یک سیگنال محوشده یعنی هر گرادیان تقریباً صفر است و آموزش متوقف می‌شود. یک سیگنال منفجرشده یعنی سرریز و nan. هر دو از وزن‌های آغازین می‌آیند.

آن را ببینید

پویانمایی را پخش کنید: همان پشتهٔ 20 لایه‌ای که به سه شکل شروع شده. خیلی کوچک، و سیگنال لایه به لایه تا هیچ کم‌رنگ می‌شود. خیلی بزرگ، و دو برابر و دو برابر می‌شود تا سرریز کند. درست، و تا انتها ثابت می‌ماند. گرادیان در راه بازگشت به همین سرنوشت دچار می‌شود.

محو شدن: کوچک شدن فعال‌سازی‌ها یا گرادیان‌ها به سوی صفر در طول لایه‌ها. انفجار: رشد بی‌حد.

واژه‌ها و نمادهای این درس
محو شدن، انفجار
سیگنال‌ها یا گرادیان‌هایی که در طول لایه‌ها به هیچ کوچک می‌شوند یا بی‌حد رشد می‌کنند
Xavier، LeCun، He
پراکندگی‌های آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
نوبت شما

با استفاده از spreads درس قبل (آماده)، verdict(scale) را بنویسید که اگر پراکندگی نهایی زیر 1e-3 باشد "vanish"، اگر بالای 1e3 باشد "explode" و وگرنه "ok" برمی‌گرداند. سپس پیش از اجرا my_predictions را برای مقیاس‌های 0.05، 0.14 و 0.5 پر کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.