المنهج الدراسي الدرس 80 من 246 · الوحدة 6: الأوزان الابتدائية والتطبيع
الوحدة 6: الأوزان الابتدائية والتطبيع

تمرير BatchNorm والمتوسطات التشغيلية

لماذا هذا مهم أثناء التدريب تستخدم BatchNorm إحصائيات الدفعة الخاصة بها. عندما يتم استخدام النموذج على مثال واحد في كل مرة لا توجد دفعة، لذا يجب عليه تذكر الإحصائيات النموذجية من التدريب.

أثناء التدريب، احتفظ بـ running averages لكل متوسط وميوعة للميزة: running = (1 - momentum) * running + momentum * batch_value، مع momentum بقيمة 0.1. في وضع التقييم، قم بالمعايرة باستخدام تلك القيم الجارية بدلاً من قيم الـ batch.

وضع التدريب: استخدم إحصائيات الدفعة وحدث المتوسطات الجارية. Eval mode: استخدم المتوسطات الجارية المخزنة ولا تغير شيئا.

الكلمات والرموز في هذا الدرس
Xavier، LeCun، He
تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
BatchNorm (gamma, beta)
قم بتطبيع كل ميزة عبر الدفعة، ثم أعد القياس باستخدام gamma و beta المتعلمين
دورك

اكتب الكلاس BatchNorm(n, momentum=0.1, eps=1e-5) مع gamma (ones)، beta (zeros)، running_mean (zeros)، running_var (ones)، وعلم training (يبدأ بـ True) و __call__(X) الذي يعمل كما هو موصوف. بالنسبة لـ running_var، فإن تباين الدفعة كما يحسبه np.var (القسمة على n) هو خيار الدورة؛ يحتفظ PyTorch بالتباين غير المنحاز (القسمة على n - 1)، وكلاهما مقبول.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.