المقياس الذي يحافظ على استقرار الإشارات (Xavier و He)
لماذا هذا مهم هناك إجابة دقيقة لسؤال "ما هو حجم الأوزان الأولية". استخدمها وتصبح الشبكات العميقة قابلة للتدريب.
أرقام صغيرة
تجمع مخرجات طبقة واحدة n_in من نواتج ضرب مدخل ووزن. إذا كانت للمدخلات تشتت 1 وللأوزان تشتت s، فإن مجموع n_in من هذه الحدود له تشتت s مضروبا في sqrt(n_in) (تُجمع التباينات: Module 2، "How spread adds up"). للحفاظ عليه عند 1، اختر s = 1 / sqrt(n_in). هذا هو LeCun initialisation. Xavier (ويسمى أيضا Glorot) initialisation يحافظ أيضا على ثبات التدرجات في طريق العودة، والتي تعتمد على n_out، لذا فهو يقسم الفرق: s = sqrt(2 / (n_in + n_out)). عندما تساوي n_in قيمة n_out يكون كلاهما متطابقا. كلاهما يناسب tanh.
تقومReLU بحذف النصف السالب، مما يقلل متوسط الحجم المربع إلى النصف. عوض عن ذلك بضعف التباين: s = sqrt(2 / n_in). هذا هو تهيئة He، وهي مناسبة لـ ReLU. مع عرض 100، يعطي He قيمة sqrt(0.02) = 0.141: وهي بالضبط مقياس "ok" من الدرس السابق.
ملخص tanh: Xavier، sqrt(2 / (n_in + n_out))، أو LeCun، 1 / sqrt(n_in). ReLU: He، sqrt(2 / n_in).
الكلمات والرموز في هذا الدرس
- بدء التشغيل
- كيف يتم تعيين الأوزان قبل بدء التدريب
- Xavier، LeCun، He
- تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
اكتب xavier(n_in, n_out, rng) و he(n_in, n_out, rng) مع إرجاع مصفوفات الأوزان. مع أوزان He، يجب أن يظل انتشار التنشيط بعد 20 طبقة ReLU بعرض 256 بين 0.2 و 5.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.