مقیاسی که سیگنالها را ثابت نگه میدارد (Xavier و He)
چرا مهم است پاسخ دقیقی برای «وزنهای آغازین چقدر بزرگ باشند» وجود دارد. از آن استفاده کنید و شبکههای عمیق قابل آموزش میشوند.
اعداد کوچک
یک خروجی یک لایه n_in حاصلضرب یک ورودی و یک وزن را جمع میزند. اگر ورودیها پراکندگی 1 و وزنها پراکندگی s داشته باشند، جمع n_in چنین جملهای پراکندگی s ضرب در sqrt(n_in) دارد (واریانسها جمع میشوند: ماژول 2، «پراکندگی چگونه جمع میشود»). برای نگه داشتن آن در 1، s = 1 / sqrt(n_in) را انتخاب کنید. این مقداردهی اولیهٔ LeCun است. مقداردهی اولیهٔ Xavier (که Glorot هم نامیده میشود) گرادیانها را هم در راه بازگشت ثابت نگه میدارد، که به n_out بستگی دارند، پس میانه را میگیرد: s = sqrt(2 / (n_in + n_out)). وقتی n_in برابر n_out است این دو یکساناند. هر دو برای tanh مناسباند.
ReLU نیمهٔ منفی را دور میاندازد، که میانگین اندازهٔ مربعی را نصف میکند. با دو برابر کردن واریانس جبرانش کنید: s = sqrt(2 / n_in). این مقداردهی اولیهٔ He است، مناسب برای ReLU. با عرض 100، He مقدار sqrt(0.02) = 0.141 را میدهد: دقیقاً همان مقیاس «ok» درس قبل.
خلاصه tanh: Xavier، sqrt(2 / (n_in + n_out))، یا LeCun، 1 / sqrt(n_in). ReLU: He، sqrt(2 / n_in).
واژهها و نمادهای این درس
- مقداردهی اولیه
- اینکه وزنها پیش از شروع آموزش چگونه تنظیم میشوند
- Xavier، LeCun، He
- پراکندگیهای آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
xavier(n_in, n_out, rng) و he(n_in, n_out, rng) را بنویسید که ماتریسهای وزن برمیگردانند. با وزنهای He، پراکندگی فعالسازی پس از 20 لایهٔ ReLU با عرض 256 باید میان 0.2 و 5 بماند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.