Een zware bal (momentum)
Waarom dit ertoe doet Momentum is de meest nuttige oplossing voor uitgerekte dalen, en bijna elke optimiser die je zult gebruiken heeft het.
Zie het eerst
Speel de animatie af. De simpele gradient descent gaat in zigzagpatronen door de vallei. Een zware bal behoudt een deel van zijn vorige snelheid: de zigzagpatronen heffen elkaar op (links, rechts, links) terwijl de constante trek naar beneden langs de vallei stap voor stap optelt. Zo versnelt het over de bodem van de vallei.
Noem het
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
Met beta = 0.9 onthoudt de bal ongeveer de laatste 10 duwtjes.
Waarom gewone afdaling hier traag is
In deze kom is de steile richting 50 keer steiler dan de milde richting. De leercurve van de vlakke daling wordt beperkt door de steile richting: boven 2/50 = 0.04 worden de stappen over de vallei groter en explodeert het. Net onder de limiet, bij 0.039, zigzagt het over de vallei (elke stap schiet over en landt aan de andere kant) terwijl het erlangs kruipt, omdat 0.039 een kleine snelheid is voor de milde richting. Momentum kan een grotere snelheid gebruiken en zijn snelheid langs de vallei behouden: het schiet ook over in de steile richting, maar die zwaaien heffen elkaar op terwijl de duwtjes langs de vloer optellen.
(Precies bij lr = 1/50 = 0.02 is er helemaal geen zigzag: één step landt op de bodem van de vallei, en de rest is de langzame kruip. Probeer het.)
(De scène tekent een zachtere vallei, 25 keer steiler over de breedte, met beta 0.5, zodat de paden op het scherm passen; de getallen in deze les zijn voor de 50 keer vallei die je codeert.)
Momentum: een lopende som van recente gradiënten die zigzagbewegingen vlakt en snelheid opbouwt in consistente richtingen.
Woorden en symbolen in deze les
- momentum (beta)
- het behouden van een deel van de snelheid van de laatste stap
Schrijf steps_plain(lr) en steps_momentum(lr, beta): begin bij (1, 1) op de uitgerekte kom, tel stappen tot de afstand tot de bodem onder de 0.001 is (max 20.000). Geef elk zijn eigen goede instellingen: plain descent bij lr 0.039, net onder zijn cap, en momentum bij lr 0.06 met beta 0.6. Momentum moet maximaal een derde van de stappen nodig hebben.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.