Programma Les 65 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

Waarom een uitgerekte kom traag is (conditioning)

Waarom dit ertoe doetEchte verlieslandschappen zijn steil in sommige richtingen en bijna vlak in andere. Die mismatch, niet het aantal weights, is wat gewone gradient descent traag maakt.

Bekijk het

Neem f = (k x squared + y squared) / 2. Met k = 1 is het een ronde kom. Met k = 100 is het een lange dunne vallei: steil dwars, zacht langs. De learning rate moet beide richtingen tegelijk passen. De beste enkele keuze, lr = 2 / (k + 1), zorgt ervoor dat elke step (k - 1) / (k + 1) van de afstand in beide richtingen behoudt: 0.98 ervan wanneer k = 100. Elke grotere waarde zorgt ervoor dat de steile richting doorschiet en langzamer tot rust komt (boven 2 / k groeit het zonder limiet); elke kleinere waarde zorgt ervoor dat de zachte richting nog langzamer kruipt. De wandeling zigzagt dus dwars over de vallei terwijl hij erlangs kruipt.

Condition number: de verhouding tussen de steilste en de flauwe kromming, hier k. Gewone gradient descent heeft ongeveer k stappen nodig om goede vooruitgang te boeken.

Roep de Curve op: voorspel voordat je het uitvoert hoeveel stappen het kost om binnen 0.001 van de bodem te komen voor k = 1, 10 en 100, gebruikmakend van de beste vaste leerfactor, 2 / (k + 1).

Samenvatting Stretch vertraagt de gewone daling in verhouding tot de stretch.

Woorden en symbolen in deze les
condition number
hoeveel steiler de steilste richting is dan de flauwe
Jij bent aan de beurt

Vul my_guess (drie stappenaantallen) in, schrijf dan steps_to_converge(k): begin bij (1, 1), gebruik lr = 2 / (k + 1), en tel stappen tot de afstand tot (0, 0) onder 0.001 is (stop bij 100,000).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.