المنهج الدراسي الدرس 77 من 246 · الوحدة 6: الأوزان الابتدائية والتطبيع
الوحدة 6: الأوزان الابتدائية والتطبيع

المقياس الذي يحافظ على استقرار الإشارات (Xavier و He)

لماذا هذا مهم هناك إجابة دقيقة لسؤال "ما هو حجم الأوزان الأولية". استخدمها وتصبح الشبكات العميقة قابلة للتدريب.

أرقام صغيرة

تجمع مخرجات طبقة واحدة n_in من نواتج ضرب مدخل ووزن. إذا كانت للمدخلات تشتت 1 وللأوزان تشتت s، فإن مجموع n_in من هذه الحدود له تشتت s مضروبا في sqrt(n_in) (تُجمع التباينات: Module 2، "How spread adds up"). للحفاظ عليه عند 1، اختر s = 1 / sqrt(n_in). هذا هو LeCun initialisation. Xavier (ويسمى أيضا Glorot) initialisation يحافظ أيضا على ثبات التدرجات في طريق العودة، والتي تعتمد على n_out، لذا فهو يقسم الفرق: s = sqrt(2 / (n_in + n_out)). عندما تساوي n_in قيمة n_out يكون كلاهما متطابقا. كلاهما يناسب tanh.

تقوم

ReLU بحذف النصف السالب، مما يقلل متوسط الحجم المربع إلى النصف. عوض عن ذلك بضعف التباين: s = sqrt(2 / n_in). هذا هو تهيئة He، وهي مناسبة لـ ReLU. مع عرض 100، يعطي He قيمة sqrt(0.02) = 0.141: وهي بالضبط مقياس "ok" من الدرس السابق.

ملخص tanh: Xavier، sqrt(2 / (n_in + n_out))، أو LeCun، 1 / sqrt(n_in). ReLU: He، sqrt(2 / n_in).

الكلمات والرموز في هذا الدرس
بدء التشغيل
كيف يتم تعيين الأوزان قبل بدء التدريب
Xavier، LeCun، He
تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
دورك

اكتب xavier(n_in, n_out, rng) و he(n_in, n_out, rng) مع إرجاع مصفوفات الأوزان. مع أوزان He، يجب أن يظل انتشار التنشيط بعد 20 طبقة ReLU بعرض 256 بين 0.2 و 5.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.