زمانبندیهای گرمکردن و کسینوسی
چرا مهم است بهترین نرخ یادگیری در سراسر آموزش یکسان نیست. مدلهای بزرگ تقریباً همیشه با یک زمانبندی آموزش داده میشوند: شروعی ملایم، میانهای طولانی و بالا، و فرودی آهسته.
آن را ببینید
پویانمایی را پخش کنید. گرمکردن: نرخ در چند صد گام اول در یک خط راست از نزدیک صفر تا قلهاش بالا میرود، چون در همان آغاز گرادیانها بزرگ و غیرقابل اعتمادند. کاهش کسینوسی: سپس در طول نیمی از یک موج کسینوسی تا یک کف کوچک پایین میلغزد، پس آموزش پایانی گامهای کوچک و محتاطانه برمیدارد و در جای خوبی مینشیند.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
خلاصه بالا بروید، با سرعت ثابت پیش بروید، آرام پایین بیایید.
واژهها و نمادهای این درس
- گرمکردن، کسینوسی
- نرخ یادگیری را کوچک شروع کنید، سپس آن را در طول یک کسینوس پایین بیاورید
lr_at(step, total, warmup, peak, floor) را با پیروی از فرمولهای بالا بنویسید (گامها از 0 شمرده میشوند).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.