گذر رو به جلوی BatchNorm و میانگینهای جاری
چرا مهم است در زمان آموزش BatchNorm از آمارهای خود دسته استفاده میکند. وقتی مدل هر بار روی یک نمونه به کار میرود دستهای وجود ندارد، پس باید آمارهای معمول را از آموزش به یاد بیاورد.
در طول آموزش، میانگینهای جاری میانگین و واریانس هر ویژگی را نگه دارید: running = (1 - momentum) * running + momentum * batch_value، با momentum برابر 0.1. در حالت ارزیابی، به جای آمارهای دسته با همان مقدارهای جاری نرمال کنید.
حالت آموزش: از آمارهای دسته استفاده کنید و میانگینهای جاری را بهروز کنید. حالت ارزیابی: از میانگینهای جاری ذخیرهشده استفاده کنید و هیچ چیز را تغییر ندهید.
واژهها و نمادهای این درس
- Xavier، LeCun، He
- پراکندگیهای آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
- BatchNorm (gamma, beta)
- هر ویژگی را روی دسته نرمال کنید، سپس با gamma و beta یادگرفتهشده دوباره مقیاس دهید
کلاس BatchNorm(n, momentum=0.1, eps=1e-5) را با gamma (یکها)، beta (صفرها)، running_mean (صفرها)، running_var (یکها)، یک پرچم training (با شروع True) و __call__(X) که همانطور که توصیف شد رفتار میکند بنویسید. برای running_var، واریانس دسته آنطور که np.var محاسبه میکند (تقسیم بر n) انتخاب دوره است؛ PyTorch نسخهٔ نااریب (تقسیم بر n - 1) را نگه میدارد، و هر دو پذیرفته میشوند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.