تمرير BatchNorm والمتوسطات التشغيلية
لماذا هذا مهم أثناء التدريب تستخدم BatchNorm إحصائيات الدفعة الخاصة بها. عندما يتم استخدام النموذج على مثال واحد في كل مرة لا توجد دفعة، لذا يجب عليه تذكر الإحصائيات النموذجية من التدريب.
أثناء التدريب، احتفظ بـ running averages لكل متوسط وميوعة للميزة: running = (1 - momentum) * running + momentum * batch_value، مع momentum بقيمة 0.1. في وضع التقييم، قم بالمعايرة باستخدام تلك القيم الجارية بدلاً من قيم الـ batch.
وضع التدريب: استخدم إحصائيات الدفعة وحدث المتوسطات الجارية. Eval mode: استخدم المتوسطات الجارية المخزنة ولا تغير شيئا.
الكلمات والرموز في هذا الدرس
- Xavier، LeCun، He
- تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
- BatchNorm (gamma, beta)
- قم بتطبيع كل ميزة عبر الدفعة، ثم أعد القياس باستخدام gamma و beta المتعلمين
اكتب الكلاس BatchNorm(n, momentum=0.1, eps=1e-5) مع gamma (ones)، beta (zeros)، running_mean (zeros)، running_var (ones)، وعلم training (يبدأ بـ True) و __call__(X) الذي يعمل كما هو موصوف. بالنسبة لـ running_var، فإن تباين الدفعة كما يحسبه np.var (القسمة على n) هو خيار الدورة؛ يحتفظ PyTorch بالتباين غير المنحاز (القسمة على n - 1)، وكلاهما مقبول.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.