Snel een learning rate vinden en spikes afkappen
Waarom dit ertoe doetHet gokken van learning rates verspilt dagen. Eén korte run vertelt je een goede. En één slechte batch kan een run laten ontploffen tenzij je de step beperkt.
De bereikstest
Train voor een paar honderd stappen terwijl je de learning rate elke stap een beetje verhoogt, van klein naar enorm, en noteer de loss. In het begin gebeurt er niets; dan daalt de loss snel; dan explodeert het. Een goede learning rate ligt waar de loss het snelst daalde, een beetje onder de explosie. Een veelgebruikte regel: neem de rate waar de loss het laagst was en deel door 10.
Clipping
Als de totale grootte van de gradient (de lengte of norm) boven een limiet is, schaal dan de hele gradient terug naar die lengte. De richting blijft behouden; alleen een zeldzame enorme stap wordt getemd.
Gradient norm: de lengte van alle gradiënten gezien als één lange vector: de wortel van de som van hun kwadraten.
Woorden en symbolen in deze les
- gradient norm, clipping
- de totale grootte van de gradient, en het beperken ervan
Schrijf pick_lr(lrs, losses): de learning rate waar de loss het laagst was, gedeeld door 10. En clip(grads, max_norm): grads is een lijst van arrays; als hun gecombineerde norm boven max_norm is, geef ze dan allemaal terug geschaald zodat de norm gelijk is aan max_norm, anders geef ze onveranderd terug.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.