المنهج الدراسي الدرس 78 من 246 · الوحدة 6: الأوزان الابتدائية والتطبيع
الوحدة 6: الأوزان الابتدائية والتطبيع

وحدات ReLU الميتة

لماذا هذا مهم إن دالة ReLU التي تكون غير نشطة لكل مدخل لا تمرر أي gradient، لذا فهي لا تتعلم أبدا مرة أخرى. يمكن لطبقات كاملة أن تموت بهدوء.

تعتبر الوحدة

A في حالة dead إذا كانت مخرجاتها صفراً لكل مثال في الدفعة. الأسباب الشائعة هي انحياز سلبي كبير، أو تحديث ضخم واحد دفع أوزانها إلى قيم سالبة بعيدة.

أرقام صغيرة

تنشيطات لـ 4 أمثلة و 3 وحدات: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. الوحدة 1 صفر في كل مكان: ميتة. الوحدة 3 نشطت مرة واحدة: حية. كسر الميتات: 1 من 3.

إصلاحات: أوزان بداية منطقية، انحيازات تبدأ من 0 (أو موجبة قليلاً)، معدل تعلم أصغر، أو leaky ReLU، الذي يحافظ على ميل صغير (مثل 0.01) للمدخلات السالبة حتى تتمكن الوحدة من التعافي.

الكلمات والرموز في هذا الدرس
Xavier، LeCun، He
تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
دورك

اكتب dead_fraction(H) لمصفوفة تنشيط (أمثلة حسب الوحدات). ثم، بالنسبة للطبقة أدناه، التي بدأت بانحيازات بقيمة -4، اكتب fixed_layer(X, W) التي تحتفظ بنفس الأوزان ولكنها تستخدم انحيازات بقيمة صفر و leaky ReLU بميل 0.01؛ يجب أن يكون كسر الوحدات الميتة (حساب المخرجات التي تساوي صفر تماما) هو 0.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.