Opwarming en kosinus-skedules
Hoekom dit saak maak Die beste learning rate is nie dieselfde oor die hele opleiding nie. Groot modelle word amper altyd met 'n skedule opgelei: 'n sagte begin, 'n lang hoë middel, en 'n stadige landing.
Sien dit
Speel die animasi af. Warmup: die tempo styg in 'n reguit lyn van naby nul tot by sy piek oor die eerste paar honderd stappe, omdat die gradiënte aan die begin groot en onbetroubaar is. Cosine decay: daarna skuif dit af langs 'n half kosinusgolf tot by 'n klein vloer, sodat laat opleiding klein versigtige stappe neem en in 'n goeie plek gaan sak.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Opsomming Versnel, cruise, gly af.
Woorde en simbole in hierdie les
- opwarming, cosine
- begin die learning rate klein, dan laat dit teen 'n cosine afgly
Skryf lr_at(step, total, warmup, peak, floor) volgens die formules hierbo (stappe tel vanaf 0).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.