Waarom een uitgerekte kom traag is (conditioning)
Waarom dit ertoe doetEchte verlieslandschappen zijn steil in sommige richtingen en bijna vlak in andere. Die mismatch, niet het aantal weights, is wat gewone gradient descent traag maakt.
Bekijk het
Neem f = (k x squared + y squared) / 2. Met k = 1 is het een ronde kom. Met k = 100 is het een lange dunne vallei: steil dwars, zacht langs. De learning rate moet beide richtingen tegelijk passen. De beste enkele keuze, lr = 2 / (k + 1), zorgt ervoor dat elke step (k - 1) / (k + 1) van de afstand in beide richtingen behoudt: 0.98 ervan wanneer k = 100. Elke grotere waarde zorgt ervoor dat de steile richting doorschiet en langzamer tot rust komt (boven 2 / k groeit het zonder limiet); elke kleinere waarde zorgt ervoor dat de zachte richting nog langzamer kruipt. De wandeling zigzagt dus dwars over de vallei terwijl hij erlangs kruipt.
Condition number: de verhouding tussen de steilste en de flauwe kromming, hier k. Gewone gradient descent heeft ongeveer k stappen nodig om goede vooruitgang te boeken.
Roep de Curve op: voorspel voordat je het uitvoert hoeveel stappen het kost om binnen 0.001 van de bodem te komen voor k = 1, 10 en 100, gebruikmakend van de beste vaste leerfactor, 2 / (k + 1).
Samenvatting Stretch vertraagt de gewone daling in verhouding tot de stretch.
Woorden en symbolen in deze les
- condition number
- hoeveel steiler de steilste richting is dan de flauwe
Vul my_guess (drie stappenaantallen) in, schrijf dan steps_to_converge(k): begin bij (1, 1), gebruik lr = 2 / (k + 1), en tel stappen tot de afstand tot (0, 0) onder 0.001 is (stop bij 100,000).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.