میانبرها (اتصالهای باقیمانده)
چرا مهم است اتصالهای باقیمانده دلیل ایناند که شبکههایی با صدها لایه اصلاً آموزش میبینند. هر بلوک ترنسفورمر از آنها استفاده میکند.
یک لایهٔ ساده ورودیاش را جایگزین میکند: h = f(h). یک بلوک باقیمانده به آن اضافه میکند: h = h + f(h). اگر f چیز مفیدی یاد نگیرد، بلوک بهسادگی h را بدون تغییر عبور میدهد، پس عمق اضافه هرگز نمیتواند در آغاز اوضاع را بدتر کند. و در راه بازگشت، گرادیان مسیری مستقیم در طول مسیر «+ h» دارد که کاملاً از لایه میگذرد، پس نمیتواند محو شود.
یک هشدار منصفانه دربارهٔ آزمایش زیر: هر دو شبکه از همان وزنهای عمداً کوچک N(0, 0.1) شروع میکنند. همین شروع است که شبکهٔ ساده را غرق میکند. با وزنهای آغازین He از پیشتر در این ماژول، شبکهٔ سادهٔ 30 لایهای هم آموزش میبیند (5 از 6 بذر در اجراهای دوره). آنچه میانبرها اضافه میکنند استحکام است: حتی از یک شروع ضعیف آموزش میبینند و در عمقهایی که وزنهای آغازین دقیق بهتنهایی دیگر کافی نیستند همچنان کار میکنند.
اینجا سهم هر بلوک هم با 1 / depth مقیاس داده شده، ترفندی رایج تا 30 جمع سیگنال را منفجر نکنند.
اتصال باقیمانده (یا اتصال پرشی، میانبر): افزودن ورودی یک بلوک به خروجیاش.
پیشبینی منحنی: زیان نهایی پس از 150 گام را برای شبکهٔ ساده و برای شبکهٔ با میانبرها حدس بزنید. (زیان 0.693 در این کار دوکلاسه یعنی شیر یا خط.)
واژهها و نمادهای این درس
- Xavier، LeCun، He
- پراکندگیهای آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
- اتصال باقیمانده
- افزودن ورودی یک بلوک به خروجیاش: h + f(h)
my_guess را پر کنید. سپس block(h, W, b, shortcuts, depth) را بنویسید: بدون میانبرها relu(h @ W + b) را برگردانید؛ با میانبرها h + relu(h @ W + b) * (1 / depth) را برگردانید. آزمون هر دو شبکهٔ 30 لایهای را از همان وزنهای آغازین کوچک آموزش میدهد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.