ReLUهای مرده
چرا مهم است یک ReLU که برای همهٔ ورودیها خاموش است هیچ گرادیانی عبور نمیدهد، پس هرگز دوباره یاد نمیگیرد. لایههای کامل میتوانند بیصدا بمیرند.
یک واحد وقتی مرده است که خروجیاش برای هر نمونه در یک دسته صفر باشد. علتهای رایج: یک بایاس منفی بزرگ، یا یک بهروزرسانی عظیم که وزنهایش را بسیار منفی کرد.
اعداد کوچک
فعالسازیها برای 4 نمونه و 3 واحد: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. واحد 1 همه جا صفر است: مرده. واحد 3 یک بار فعال شد: زنده. کسر مرده: 1 از 3.
راهحلها: وزنهای آغازین معقول، بایاسهایی که از 0 (یا کمی مثبت) شروع میکنند، نرخ یادگیری کوچکتر، یا leaky ReLU که برای ورودیهای منفی شیب کوچکی (مثلاً 0.01) نگه میدارد تا واحد بتواند بهبود یابد.
واژهها و نمادهای این درس
- Xavier، LeCun، He
- پراکندگیهای آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
dead_fraction(H) را برای یک ماتریس فعالسازی (نمونهها در واحدها) بنویسید. سپس برای لایهٔ زیر، که با بایاسهای -4 شروع شده، fixed_layer(X, W) را بنویسید که همان وزنها را نگه میدارد اما از بایاسهای صفر و یک leaky ReLU با شیب 0.01 استفاده میکند؛ کسر مردهاش (با شمردن خروجیهای دقیقاً صفر) باید 0 باشد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.