Programma Les 66 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

Ruisachtige stappen (SGD en minibatches)

Waarom dit ertoe doetEchte datasets hebben miljoenen voorbeelden. Het berekenen van de exacte gradient op alle voorbeelden voor elke stap is veel te traag, dus schatten we het vanuit een kleine batch.

A minibatch gradient gebruikt bijvoorbeeld 32 willekeurige voorbeelden in plaats van alle 512. Het wijst ongeveer naar beneden met wat ruis. Je krijgt 16 goedkope ruisvolle stappen voor de prijs van één exacte stap, en in de praktijk wint dat gemakkelijk.

Wat de ruis doet

De verliescurve wordt grillig in plaats van vloeiend, en onderaan stabiliseert hij nooit helemaal: hij wiebelt rond het minimum. Het verlagen van de learning rate laat in de training kalmeert de wiebel. Een beetje ruis is zelfs nuttig in grote netwerken, omdat het de weg uit slechte plekken schudt.

SGD: stochastic gradient descent, gradient descent met minibatch schattingen van de gradient.

Samenvatting Veel goedkope noisy stappen verslaan een paar exacte stappen.

Woorden en symbolen in deze les
SGD
gradient descent met kleine willekeurige batches
minibatch
een klein willekeurig stuk van de data gebruikt voor één stap
Jij bent aan de beurt

Schrijf sgd(X, y, lr, batch, epochs, seed) voor lineaire regressie (loss: mean squared error), waarbij je elke epoch shuffelt en (w, losses) teruggeeft waar losses de full-data loss is na elke epoch. Met batch 32, lr 0.05 en 10 epochs moet het eindigen onder 0.02.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.