Batch size en learning rate samen
Waarom dit ertoe doet Batch size en learning rate zijn geen aparte knoppen. Verander er één en de beste waarde van de andere verandert.
Een grotere batch geeft een minder ruisige gradient, dus kan het veilig een grotere stap nemen. Een ruwe regel waar veel mensen mee beginnen: als je de batch size verdubbelt, kun je de learning rate ongeveer verdubbelen, tot aan een punt waar de stap onstabiel wordt.
Resultaten variëren ook van seed tot seed, dus vergelijk instellingen over meerdere seeds, nooit over één run.
Nog een valkuil: de labels hier bevatten ruis met spreiding 0.1, dus geen instelling kan de loss onder ongeveer 0.1 kwadraat = 0.01 duwen. Dicht bij die ondergrens zijn verschillende paren gelijk (bijvoorbeeld 0.0113 tegenover 0.0114). Een "winnaar" met minder dan de seed-naar-seed schommeling is geen winnaar, dus de run lijst ook elk paar binnen 5% van de beste.
Samenvatting Stem ze samen af en neem het gemiddelde over seeds.
Woorden en symbolen in deze les
- SGD
- gradient descent met kleine willekeurige batches
Voorspel eerst: in my_pick schrijf je het (batch, lr) paar van de grid dat volgens jou eindigt met de laagste loss na 2 epochs. Schrijf daarna sweep(X, y, batches, lrs, seeds) dat een dictionary retourneert van (batch, lr) naar de gemiddelde finale loss over de seeds (gebruik de gegeven sgd), en best(results) dat het beste paar retourneert.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.