وحدات ReLU الميتة
لماذا هذا مهم إن دالة ReLU التي تكون غير نشطة لكل مدخل لا تمرر أي gradient، لذا فهي لا تتعلم أبدا مرة أخرى. يمكن لطبقات كاملة أن تموت بهدوء.
A في حالة dead إذا كانت مخرجاتها صفراً لكل مثال في الدفعة. الأسباب الشائعة هي انحياز سلبي كبير، أو تحديث ضخم واحد دفع أوزانها إلى قيم سالبة بعيدة.
أرقام صغيرة
تنشيطات لـ 4 أمثلة و 3 وحدات: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. الوحدة 1 صفر في كل مكان: ميتة. الوحدة 3 نشطت مرة واحدة: حية. كسر الميتات: 1 من 3.
إصلاحات: أوزان بداية منطقية، انحيازات تبدأ من 0 (أو موجبة قليلاً)، معدل تعلم أصغر، أو leaky ReLU، الذي يحافظ على ميل صغير (مثل 0.01) للمدخلات السالبة حتى تتمكن الوحدة من التعافي.
الكلمات والرموز في هذا الدرس
- Xavier، LeCun، He
- تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
اكتب dead_fraction(H) لمصفوفة تنشيط (أمثلة حسب الوحدات). ثم، بالنسبة للطبقة أدناه، التي بدأت بانحيازات بقيمة -4، اكتب fixed_layer(X, W) التي تحتفظ بنفس الأوزان ولكنها تستخدم انحيازات بقيمة صفر و leaky ReLU بميل 0.01؛ يجب أن يكون كسر الوحدات الميتة (حساب المخرجات التي تساوي صفر تماما) هو 0.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.