سرفصل‌ها درس 82 از 246 · ماژول 6: وزن‌های آغازین و نرمال‌سازی
ماژول 6: وزن‌های آغازین و نرمال‌سازی

دام آموزش/ارزیابی

چرا مهم است مدلی که در آزمون خوب و در استفاده بد امتیاز می‌گیرد، بدون هیچ دلیل آشکاری، بسیار اغلب همین اشکال است. مهندسان باتجربه را هم فریب داده است.

یک طبقه‌بند کوچک یک لایهٔ BatchNorm دارد. درست آموزش دیده و میانگین‌های جاری‌اش خوب‌اند. روی مجموعهٔ آزمون، که در دسته‌های بزرگ امتیاز داده می‌شود، خوب عمل می‌کند. وقتی هر بار روی یک نمونه به کار می‌رود، بیش از حد اشتباه می‌کند.

اول کار کارآگاهی: چاپ کنید لایهٔ BatchNorm برای دو نمونهٔ متفاوت چه خروجی‌ای می‌دهد و از خودتان بپرسید با چه آمارهایی نرمال می‌کند. از روی آنچه چاپ می‌کنید پی ببرید؛ اگر گیر کردید سه راهنمایی شما را به آنجا می‌برند.

واژه‌ها و نمادهای این درس
Xavier، LeCun، He
پراکندگی‌های آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
BatchNorm (gamma, beta)
هر ویژگی را روی دسته نرمال کنید، سپس با gamma و beta یادگرفته‌شده دوباره مقیاس دهید
نوبت شما

predict_one(x) هر بار روی یک نمونه به کار می‌رود و دقتش ضعیف است. بفهمید چرا، سپس predict_one را طوری درست کنید که دقت روی دادهٔ کنار گذاشته‌شده دست‌کم 90% باشد. cause را برابر عبارتی کوتاه قرار دهید که علت را نام می‌برد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.