سرفصل‌ها درس 72 از 246 · ماژول 5: بهینه‌سازی
ماژول 5: بهینه‌سازی

زمان‌بندی‌های گرم‌کردن و کسینوسی

چرا مهم است بهترین نرخ یادگیری در سراسر آموزش یکسان نیست. مدل‌های بزرگ تقریباً همیشه با یک زمان‌بندی آموزش داده می‌شوند: شروعی ملایم، میانه‌ای طولانی و بالا، و فرودی آهسته.

آن را ببینید

پویانمایی را پخش کنید. گرم‌کردن: نرخ در چند صد گام اول در یک خط راست از نزدیک صفر تا قله‌اش بالا می‌رود، چون در همان آغاز گرادیان‌ها بزرگ و غیرقابل اعتمادند. کاهش کسینوسی: سپس در طول نیمی از یک موج کسینوسی تا یک کف کوچک پایین می‌لغزد، پس آموزش پایانی گام‌های کوچک و محتاطانه برمی‌دارد و در جای خوبی می‌نشیند.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

خلاصه بالا بروید، با سرعت ثابت پیش بروید، آرام پایین بیایید.

واژه‌ها و نمادهای این درس
گرم‌کردن، کسینوسی
نرخ یادگیری را کوچک شروع کنید، سپس آن را در طول یک کسینوس پایین بیاورید
نوبت شما

lr_at(step, total, warmup, peak, floor) را با پیروی از فرمول‌های بالا بنویسید (گام‌ها از 0 شمرده می‌شوند).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.