Programma Les 68 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

Een zware bal (momentum)

Waarom dit ertoe doet Momentum is de meest nuttige oplossing voor uitgerekte dalen, en bijna elke optimiser die je zult gebruiken heeft het.

Zie het eerst

Speel de animatie af. De simpele gradient descent gaat in zigzagpatronen door de vallei. Een zware bal behoudt een deel van zijn vorige snelheid: de zigzagpatronen heffen elkaar op (links, rechts, links) terwijl de constante trek naar beneden langs de vallei stap voor stap optelt. Zo versnelt het over de bodem van de vallei.

Noem het

v = beta * v + grad        # velocity: mostly the old velocity, plus the new push
p = p - lr * v

Met beta = 0.9 onthoudt de bal ongeveer de laatste 10 duwtjes.

Waarom gewone afdaling hier traag is

In deze kom is de steile richting 50 keer steiler dan de milde richting. De leercurve van de vlakke daling wordt beperkt door de steile richting: boven 2/50 = 0.04 worden de stappen over de vallei groter en explodeert het. Net onder de limiet, bij 0.039, zigzagt het over de vallei (elke stap schiet over en landt aan de andere kant) terwijl het erlangs kruipt, omdat 0.039 een kleine snelheid is voor de milde richting. Momentum kan een grotere snelheid gebruiken en zijn snelheid langs de vallei behouden: het schiet ook over in de steile richting, maar die zwaaien heffen elkaar op terwijl de duwtjes langs de vloer optellen.

(Precies bij lr = 1/50 = 0.02 is er helemaal geen zigzag: één step landt op de bodem van de vallei, en de rest is de langzame kruip. Probeer het.)

(De scène tekent een zachtere vallei, 25 keer steiler over de breedte, met beta 0.5, zodat de paden op het scherm passen; de getallen in deze les zijn voor de 50 keer vallei die je codeert.)

Momentum: een lopende som van recente gradiënten die zigzagbewegingen vlakt en snelheid opbouwt in consistente richtingen.

Woorden en symbolen in deze les
momentum (beta)
het behouden van een deel van de snelheid van de laatste stap
Jij bent aan de beurt

Schrijf steps_plain(lr) en steps_momentum(lr, beta): begin bij (1, 1) op de uitgerekte kom, tel stappen tot de afstand tot de bodem onder de 0.001 is (max 20.000). Geef elk zijn eigen goede instellingen: plain descent bij lr 0.039, net onder zijn cap, en momentum bij lr 0.06 met beta 0.6. Momentum moet maximaal een derde van de stappen nodig hebben.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.