خیلی کوچک، خیلی بزرگ: محو شدن و انفجار
چرا مهم است یک سیگنال محوشده یعنی هر گرادیان تقریباً صفر است و آموزش متوقف میشود. یک سیگنال منفجرشده یعنی سرریز و nan. هر دو از وزنهای آغازین میآیند.
آن را ببینید
پویانمایی را پخش کنید: همان پشتهٔ 20 لایهای که به سه شکل شروع شده. خیلی کوچک، و سیگنال لایه به لایه تا هیچ کمرنگ میشود. خیلی بزرگ، و دو برابر و دو برابر میشود تا سرریز کند. درست، و تا انتها ثابت میماند. گرادیان در راه بازگشت به همین سرنوشت دچار میشود.
محو شدن: کوچک شدن فعالسازیها یا گرادیانها به سوی صفر در طول لایهها. انفجار: رشد بیحد.
واژهها و نمادهای این درس
- محو شدن، انفجار
- سیگنالها یا گرادیانهایی که در طول لایهها به هیچ کوچک میشوند یا بیحد رشد میکنند
- Xavier، LeCun، He
- پراکندگیهای آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
با استفاده از spreads درس قبل (آماده)، verdict(scale) را بنویسید که اگر پراکندگی نهایی زیر 1e-3 باشد "vanish"، اگر بالای 1e3 باشد "explode" و وگرنه "ok" برمیگرداند. سپس پیش از اجرا my_predictions را برای مقیاسهای 0.05، 0.14 و 0.5 پر کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.