سرفصل‌ها درس 67 از 246 · ماژول 5: بهینه‌سازی
ماژول 5: بهینه‌سازی

اندازهٔ دسته و نرخ یادگیری با هم

چرا مهم است اندازهٔ دسته و نرخ یادگیری پیچ‌های جداگانه‌ای نیستند. یکی را تغییر دهید و بهترین مقدار دیگری جابه‌جا می‌شود.

دستهٔ بزرگ‌تر گرادیان کم‌نویزتری می‌دهد، پس می‌تواند با امنیت گام بزرگ‌تری بردارد. یک قاعدهٔ تقریبی که بسیاری با آن شروع می‌کنند: اگر اندازهٔ دسته را دو برابر کنید، تقریباً می‌توانید نرخ یادگیری را دو برابر کنید، تا جایی که گام ناپایدار شود.

نتایج همچنین از بذری به بذر دیگر نوسان دارند، پس تنظیم‌ها را روی چند بذر مقایسه کنید، هرگز یک اجرا.

یک دام دیگر: برچسب‌ها اینجا نویزی با پراکندگی 0.1 دارند، پس هیچ تنظیمی نمی‌تواند زیان را زیر حدود 0.1 به توان دو = 0.01 ببرد. نزدیک آن کف چند جفت مساوی‌اند (برای مثال 0.0113 در برابر 0.0114). «برنده‌ای» با اختلافی کمتر از نوسان میان بذرها برنده نیست، پس اجرا همهٔ جفت‌هایی را که در فاصلهٔ 5% از بهترین‌اند هم فهرست می‌کند.

خلاصه آن‌ها را با هم تنظیم کنید و روی بذرها میانگین بگیرید.

واژه‌ها و نمادهای این درس
SGD
نزول گرادیان با استفاده از دسته‌های تصادفی کوچک
نوبت شما

اول پیش‌بینی کنید: در my_pick جفت (batch, lr) از شبکه را که فکر می‌کنید پس از 2 دوره با کمترین زیان تمام می‌شود بنویسید. سپس sweep(X, y, batches, lrs, seeds) را بنویسید که دیکشنری‌ای از (batch, lr) به میانگین زیان نهایی روی بذرها برمی‌گرداند (از sgd داده‌شده استفاده کنید)، و best(results) را که بهترین جفت را برمی‌گرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.