المنهج الدراسي الدرس 76 من 246 · الوحدة 6: الأوزان الابتدائية والتطبيع
الوحدة 6: الأوزان الابتدائية والتطبيع

صغير جدا، كبير جدا: التلاشي والانفجار

لماذا هذا مهم تعني الإشارة المتلاشية أن كل gradient يقترب من الصفر ويتوقف التدريب. وتعني الإشارة المنفجرة حدوث overflow و nan. كلاهما ينبع من الأوزان الابتدائية.

شاهده

شغل الرسوم المتحركة: نفس المكدس المكون من 20 طبقة بدأ بثلاث طرق مختلفة. إذا كان صغيراً جداً، تتلاشى الإشارة طبقة تلو الأخرى حتى تختفي. إذا كان كبيراً جداً، يتضاعف ويتضاعف حتى يفيض. إذا كان مناسباً تماماً، فإنه يبقى ثابتاً طوال الوقت. التدرج في طريق العودة يعاني من المصير نفسه.

Vanishing: تقلص التنشيطات أو التدرجات نحو الصفر عبر الطبقات. Exploding: النمو بلا حدود.

الكلمات والرموز في هذا الدرس
اختفاء، انفجار
إشارات أو تدرجات تتقلص حتى تتلاشى أو تنمو بلا حدود عبر الطبقات
Xavier، LeCun، He
تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
دورك

باستخدام spreads من الدرس السابق (المقدم)، اكتب verdict(scale) الذي يعيد "vanish" إذا كان الانتشار النهائي أقل من 1e-3، و "explode" إذا كان أعلى من 1e3، وإلا يعيد "ok". ثم قم بتعبئة my_predictions للمقاييس 0.05 و 0.14 و 0.5 قبل التشغيل.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.