Programma Les 67 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

Batch size en learning rate samen

Waarom dit ertoe doet Batch size en learning rate zijn geen aparte knoppen. Verander er één en de beste waarde van de andere verandert.

Een grotere batch geeft een minder ruisige gradient, dus kan het veilig een grotere stap nemen. Een ruwe regel waar veel mensen mee beginnen: als je de batch size verdubbelt, kun je de learning rate ongeveer verdubbelen, tot aan een punt waar de stap onstabiel wordt.

Resultaten variëren ook van seed tot seed, dus vergelijk instellingen over meerdere seeds, nooit over één run.

Nog een valkuil: de labels hier bevatten ruis met spreiding 0.1, dus geen instelling kan de loss onder ongeveer 0.1 kwadraat = 0.01 duwen. Dicht bij die ondergrens zijn verschillende paren gelijk (bijvoorbeeld 0.0113 tegenover 0.0114). Een "winnaar" met minder dan de seed-naar-seed schommeling is geen winnaar, dus de run lijst ook elk paar binnen 5% van de beste.

Samenvatting Stem ze samen af en neem het gemiddelde over seeds.

Woorden en symbolen in deze les
SGD
gradient descent met kleine willekeurige batches
Jij bent aan de beurt

Voorspel eerst: in my_pick schrijf je het (batch, lr) paar van de grid dat volgens jou eindigt met de laagste loss na 2 epochs. Schrijf daarna sweep(X, y, batches, lrs, seeds) dat een dictionary retourneert van (batch, lr) naar de gemiddelde finale loss over de seeds (gebruik de gegeven sgd), en best(results) dat het beste paar retourneert.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.