Programma Les 73 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

Snel een learning rate vinden en spikes afkappen

Waarom dit ertoe doetHet gokken van learning rates verspilt dagen. Eén korte run vertelt je een goede. En één slechte batch kan een run laten ontploffen tenzij je de step beperkt.

De bereikstest

Train voor een paar honderd stappen terwijl je de learning rate elke stap een beetje verhoogt, van klein naar enorm, en noteer de loss. In het begin gebeurt er niets; dan daalt de loss snel; dan explodeert het. Een goede learning rate ligt waar de loss het snelst daalde, een beetje onder de explosie. Een veelgebruikte regel: neem de rate waar de loss het laagst was en deel door 10.

Clipping

Als de totale grootte van de gradient (de lengte of norm) boven een limiet is, schaal dan de hele gradient terug naar die lengte. De richting blijft behouden; alleen een zeldzame enorme stap wordt getemd.

Gradient norm: de lengte van alle gradiënten gezien als één lange vector: de wortel van de som van hun kwadraten.

Woorden en symbolen in deze les
gradient norm, clipping
de totale grootte van de gradient, en het beperken ervan
Jij bent aan de beurt

Schrijf pick_lr(lrs, losses): de learning rate waar de loss het laagst was, gedeeld door 10. En clip(grads, max_norm): grads is een lijst van arrays; als hun gecombineerde norm boven max_norm is, geef ze dan allemaal terug geschaald zodat de norm gelijk is aan max_norm, anders geef ze onveranderd terug.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.