Ruisachtige stappen (SGD en minibatches)
Waarom dit ertoe doetEchte datasets hebben miljoenen voorbeelden. Het berekenen van de exacte gradient op alle voorbeelden voor elke stap is veel te traag, dus schatten we het vanuit een kleine batch.
A minibatch gradient gebruikt bijvoorbeeld 32 willekeurige voorbeelden in plaats van alle 512. Het wijst ongeveer naar beneden met wat ruis. Je krijgt 16 goedkope ruisvolle stappen voor de prijs van één exacte stap, en in de praktijk wint dat gemakkelijk.
Wat de ruis doet
De verliescurve wordt grillig in plaats van vloeiend, en onderaan stabiliseert hij nooit helemaal: hij wiebelt rond het minimum. Het verlagen van de learning rate laat in de training kalmeert de wiebel. Een beetje ruis is zelfs nuttig in grote netwerken, omdat het de weg uit slechte plekken schudt.
SGD: stochastic gradient descent, gradient descent met minibatch schattingen van de gradient.
Samenvatting Veel goedkope noisy stappen verslaan een paar exacte stappen.
Woorden en symbolen in deze les
- SGD
- gradient descent met kleine willekeurige batches
- minibatch
- een klein willekeurig stuk van de data gebruikt voor één stap
Schrijf sgd(X, y, lr, batch, epochs, seed) voor lineaire regressie (loss: mean squared error), waarbij je elke epoch shuffelt en (w, losses) teruggeeft waar losses de full-data loss is na elke epoch. Met batch 32, lr 0.05 en 10 epochs moet het eindigen onder 0.02.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.