Opwarming en cosinus schema's
Waarom dit ertoe doetDe beste learning rate is niet de hele tijd hetzelfde tijdens de training. Grote modellen worden bijna altijd getraind met een schedule: een zachte start, een lang hoog midden en een langzame landing.
Bekijk het
Speel de animatie af. Warmup: de snelheid stijgt in een rechte lijn van bijna nul naar de piek over de eerste paar honderd stappen, omdat de gradiënten aan het begin groot en onbetrouwbaar zijn. Cosine decay: daarna glijdt het langs een halve cosinusgolf naar een lage ondergrens, zodat het late trainen kleine zorgvuldige stappen neemt en tot rust komt op een goede plek.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Samenvatting Versnellen, kruissnelheid, afremmen.
Woorden en symbolen in deze les
- warmup, cosine
- begin de learning rate klein, en laat deze dan zakken langs een cosine
Schrijf lr_at(step, total, warmup, peak, floor) volgens de formules hierboven (stappen tellen vanaf 0).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.