سرفصل‌ها درس 80 از 246 · ماژول 6: وزن‌های آغازین و نرمال‌سازی
ماژول 6: وزن‌های آغازین و نرمال‌سازی

گذر رو به جلوی BatchNorm و میانگین‌های جاری

چرا مهم است در زمان آموزش BatchNorm از آمارهای خود دسته استفاده می‌کند. وقتی مدل هر بار روی یک نمونه به کار می‌رود دسته‌ای وجود ندارد، پس باید آمارهای معمول را از آموزش به یاد بیاورد.

در طول آموزش، میانگین‌های جاری میانگین و واریانس هر ویژگی را نگه دارید: running = (1 - momentum) * running + momentum * batch_value، با momentum برابر 0.1. در حالت ارزیابی، به جای آمارهای دسته با همان مقدارهای جاری نرمال کنید.

حالت آموزش: از آمارهای دسته استفاده کنید و میانگین‌های جاری را به‌روز کنید. حالت ارزیابی: از میانگین‌های جاری ذخیره‌شده استفاده کنید و هیچ چیز را تغییر ندهید.

واژه‌ها و نمادهای این درس
Xavier، LeCun، He
پراکندگی‌های آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
BatchNorm (gamma, beta)
هر ویژگی را روی دسته نرمال کنید، سپس با gamma و beta یادگرفته‌شده دوباره مقیاس دهید
نوبت شما

کلاس BatchNorm(n, momentum=0.1, eps=1e-5) را با gamma (یک‌ها)، beta (صفرها)، running_mean (صفرها)، running_var (یک‌ها)، یک پرچم training (با شروع True) و __call__(X) که همان‌طور که توصیف شد رفتار می‌کند بنویسید. برای running_var، واریانس دسته آن‌طور که np.var محاسبه می‌کند (تقسیم بر n) انتخاب دوره است؛ PyTorch نسخهٔ نااریب (تقسیم بر n - 1) را نگه می‌دارد، و هر دو پذیرفته می‌شوند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.