عملية BatchNorm backward على دفعة من 3 أرقام (اختياري)
لماذا هذا مهم هذه هي أصعب قاعدة عكسية في الجزء 1، وهي اختيارية. درسها هو: عندما يعتمد كل مخرج على كل مدخل (من خلال المتوسط والانتشار)، فإن gradient يكتسب حدودا إضافية.
احسبه على ميزة واحدة بدفعة من 3 أولاً. مع x_hat = (x - mean) / spread وy = gamma x_hat + beta، فإن التدرج بالنسبة إلى x ليس مجرد gamma / spread مضروباً في التدرج الواصل. دفع قيمة x واحدة يحرّك المتوسط والتشتّت، وهذا يحرّك كل مخرج آخر أيضاً. النتيجة، لكل ميزة، مع g التدرج الواصل وN حجم الدفعة:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
اقرأه كالتالي: التدرج البسيط، ناقص الجزء الذي أزاح كل شيء معاً (حد المتوسط)، ناقص الجزء الذي تمدد فيه كل شيء معاً (حد الانتشار). هذان الجزءان يتم إلغاؤهما بواسطة عملية التطبيع نفسها.
يفتح الحلA من التلميحات إذا تعثرت. تخطي هذا الدرس لا يعيق أي شيء.
الكلمات والرموز في هذا الدرس
- Xavier، LeCun، He
- تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
- BatchNorm (gamma, beta)
- قم بتطبيع كل ميزة عبر الدفعة، ثم أعد التحجيم باستخدام gamma و beta المتعلمين
اكتب batchnorm_backward(X, gamma, g, eps=1e-5) الذي يعيد (dX, dgamma, dbeta) لمجموعة بيانات ثنائية الأبعاد، حيث g هو التدرج الواصل إلى المخرج.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.