سیگنالها در طول 20 لایه
چرا مهم است پیش از آنکه یک شبکهٔ عمیق چیزی یاد بگیرد، سیگنال باید از سفر در طول همهٔ لایهها جان سالم به در ببرد. اغلب نمیبرد، و هیچ بهینهسازی نمیتواند آن را درست کند.
دستهای از ورودیهای تصادفی را از 20 لایهٔ h = relu(h @ W) عبور دهید، با هر وزن کشیدهشده از یک توزیع نرمال با پراکندگیای معین. پس از هر لایه، پراکندگی (انحراف معیار) فعالسازیها را بسنجید.
اعداد کوچک
هر لایه اندازهٔ معمول سیگنال را تقریباً در یک ضریب یکسان ضرب میکند. اگر آن ضریب 0.5 باشد، پس از 20 لایه سیگنال 0.5 به توان 20 است: حدود یک میلیونیم. اگر 2 باشد، حدود یک میلیون برابر بزرگتر است. فقط ضریبی نزدیک 1 جان سالم به در میبرد.
خلاصه عمق تغییرهای کوچک هر لایه را به تغییرهای عظیم تبدیل میکند.
واژهها و نمادهای این درس
- Xavier، LeCun، He
- پراکندگیهای آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
spreads(scale, depth=20, width=100, seed=0) را بنویسید: از h = rng.standard_normal((256, width)) شروع کنید، سپس برای هر لایه W = rng.normal(0, scale, (width, width)) را بکشید و h = relu(h @ W) را تنظیم کنید. فهرست h.std() پس از هر لایه را برگردانید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.