Programma Les 72 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

Opwarming en cosinus schema's

Waarom dit ertoe doetDe beste learning rate is niet de hele tijd hetzelfde tijdens de training. Grote modellen worden bijna altijd getraind met een schedule: een zachte start, een lang hoog midden en een langzame landing.

Bekijk het

Speel de animatie af. Warmup: de snelheid stijgt in een rechte lijn van bijna nul naar de piek over de eerste paar honderd stappen, omdat de gradiënten aan het begin groot en onbetrouwbaar zijn. Cosine decay: daarna glijdt het langs een halve cosinusgolf naar een lage ondergrens, zodat het late trainen kleine zorgvuldige stappen neemt en tot rust komt op een goede plek.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Samenvatting Versnellen, kruissnelheid, afremmen.

Woorden en symbolen in deze les
warmup, cosine
begin de learning rate klein, en laat deze dan zakken langs een cosine
Jij bent aan de beurt

Schrijf lr_at(step, total, warmup, peak, floor) volgens de formules hierboven (stappen tellen vanaf 0).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.