سرفصل‌ها درس 73 از 246 · ماژول 5: بهینه‌سازی
ماژول 5: بهینه‌سازی

پیدا کردن سریع یک نرخ یادگیری، و بریدن جهش‌ها

چرا مهم است حدس زدن نرخ‌های یادگیری روزها هدر می‌دهد. یک اجرای کوتاه نرخ خوبی به شما می‌گوید. و یک دستهٔ بد می‌تواند یک اجرا را منفجر کند مگر اینکه بر گام سقف بگذارید.

آزمون بازه

چند صد گام آموزش دهید در حالی که نرخ یادگیری را در هر گام کمی بالا می‌برید، از ریز تا عظیم، و زیان را ثبت کنید. اول هیچ اتفاقی نمی‌افتد؛ سپس زیان سریع پایین می‌آید؛ سپس منفجر می‌شود. یک نرخ یادگیری خوب جایی است که زیان سریع‌تر از همه پایین می‌آمد، کمی پایین‌تر از انفجار. یک قاعدهٔ رایج: نرخی را که زیان در آن کمترین بود بگیرید و بر 10 تقسیم کنید.

بریدن

اگر اندازهٔ کل گرادیان (طولش، یا نُرمش) بالای یک حد باشد، کل گرادیان را تا آن طول کوچک کنید. جهت حفظ می‌شود؛ فقط یک گام عظیم نادر رام می‌شود.

نُرم گرادیان: طول همهٔ گرادیان‌ها که به‌صورت یک بردار بلند گرفته شده‌اند: ریشهٔ دوم جمع مربع‌هایشان.

واژه‌ها و نمادهای این درس
نُرم گرادیان، بریدن
اندازهٔ کل گرادیان، و سقف گذاشتن بر آن
نوبت شما

pick_lr(lrs, losses) را بنویسید: نرخ یادگیری‌ای که زیان در آن کمترین بود، تقسیم بر 10. و clip(grads, max_norm): grads فهرستی از آرایه‌هاست؛ اگر نُرم ترکیبی‌شان بالای max_norm است، همه را طوری مقیاس‌شده برگردانید که نُرم برابر max_norm شود، وگرنه بدون تغییر برگردانید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.