ماذا تفعل BatchNorm بالأرقام
لماذا هو مهم جعل BatchNorm الشبكات العميقة جدا قابلة للتدريب في عام 2015. انظر ماذا يفعل بالأرقام قبل بنائه.
شاهده
قم بتشغيل الرسوم المتحركة. تصل مخرجات الطبقة مع المتوسط والانتشار الخاص بكل ميزة، بعضها ضخم، وبعضها صغير، وبعضها مزاح. تقوم BatchNorm بأخذ كل ميزة، عبر الدفعة الحالية، وتطرح متوسطها وتقسم على انتشارها. الآن تمتلك كل ميزة متوسطا 0 وانتشارا 1. ثم تضرب في gamma متعلم وتضيف beta متعلم، لكي يمكن للشبكة اختيار مقياس مختلف إذا كان ذلك يساعد.
ملاحظة صادقة: لماذا يساعد BatchNorm لا يزال محل نقاش. شرح الورقة الأصلية ("internal covariate shift") لم يعد هو المقبول؛ أسطح الخسارة الأكثر سلاسة والسماح بمعدلات تعلم أكبر هي أسباب مدعومة بشكل أفضل. ما يفعله بالأرقام ليس موضع شك.
BatchNorm: قم بتطبيع كل ميزة باستخدام إحصائيات الدفعة الحالية، ثم أعد القياس باستخدام gamma و beta المتعلمين.
الكلمات والرموز في هذا الدرس
- Xavier، LeCun، He
- تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
- BatchNorm (gamma, beta)
- قم بتطبيع كل ميزة عبر الدفعة، ثم أعد القياس باستخدام gamma و beta المتعلمين
توقّع قبل الحساب: لميزة القيم [2, 4, 6, 8] في دفعة، وgamma تساوي 3 وbeta تساوي 1. اضبط my_output على الأرقام الأربعة التي ينتجها BatchNorm (استخدم eps = 0). ثم اكتب batchnorm_forward(X, gamma, beta, eps=1e-5) لدفعة ثنائية الأبعاد.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.