سرفصل‌ها درس 77 از 246 · ماژول 6: وزن‌های آغازین و نرمال‌سازی
ماژول 6: وزن‌های آغازین و نرمال‌سازی

مقیاسی که سیگنال‌ها را ثابت نگه می‌دارد (Xavier و He)

چرا مهم است پاسخ دقیقی برای «وزن‌های آغازین چقدر بزرگ باشند» وجود دارد. از آن استفاده کنید و شبکه‌های عمیق قابل آموزش می‌شوند.

اعداد کوچک

یک خروجی یک لایه n_in حاصل‌ضرب یک ورودی و یک وزن را جمع می‌زند. اگر ورودی‌ها پراکندگی 1 و وزن‌ها پراکندگی s داشته باشند، جمع n_in چنین جمله‌ای پراکندگی s ضرب در sqrt(n_in) دارد (واریانس‌ها جمع می‌شوند: ماژول 2، «پراکندگی چگونه جمع می‌شود»). برای نگه داشتن آن در 1، s = 1 / sqrt(n_in) را انتخاب کنید. این مقداردهی اولیهٔ LeCun است. مقداردهی اولیهٔ Xavier (که Glorot هم نامیده می‌شود) گرادیان‌ها را هم در راه بازگشت ثابت نگه می‌دارد، که به n_out بستگی دارند، پس میانه را می‌گیرد: s = sqrt(2 / (n_in + n_out)). وقتی n_in برابر n_out است این دو یکسان‌اند. هر دو برای tanh مناسب‌اند.

ReLU نیمهٔ منفی را دور می‌اندازد، که میانگین اندازهٔ مربعی را نصف می‌کند. با دو برابر کردن واریانس جبرانش کنید: s = sqrt(2 / n_in). این مقداردهی اولیهٔ He است، مناسب برای ReLU. با عرض 100، He مقدار sqrt(0.02) = 0.141 را می‌دهد: دقیقاً همان مقیاس «ok» درس قبل.

خلاصه tanh: Xavier، sqrt(2 / (n_in + n_out))، یا LeCun، 1 / sqrt(n_in). ReLU: He، sqrt(2 / n_in).

واژه‌ها و نمادهای این درس
مقداردهی اولیه
اینکه وزن‌ها پیش از شروع آموزش چگونه تنظیم می‌شوند
Xavier، LeCun، He
پراکندگی‌های آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
نوبت شما

xavier(n_in, n_out, rng) و he(n_in, n_out, rng) را بنویسید که ماتریس‌های وزن برمی‌گردانند. با وزن‌های He، پراکندگی فعال‌سازی پس از 20 لایهٔ ReLU با عرض 256 باید میان 0.2 و 5 بماند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.