Verliesoppervlakken waar je op kunt lopen
Waarom dit ertoe doet Elke optimiser is een andere manier om naar beneden te lopen op een landschap dat je niet kunt zien. Loop eerst een simpele.
Stel de loss voor als een landschap: twee weights zijn je positie op een kaart, en de loss is de hoogte. Training is naar beneden wandelen. De gradient wijst omhoog, dus elke step gaat de andere kant op: position = position - lr * gradient.
Tintalletjes
In de kom f(x, y) = x squared + y squared is de gradiënt bij (3, 4) gelijk aan (6, 8). Met lr 0.1 gaat de stap naar (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Elke stap behoudt 80% van de afstand tot de bodem, dus na 20 stappen ben je op ongeveer 1% van waar je begon.
Learning rate: hoe ver je stapt ten opzichte van de gradient. Te klein kruipt; te groot schiet over.
Samenvatting Stap tegen de gradiënt; de learning rate bepaalt de stapgrootte.
Schrijf descend(grad, start, lr, steps) dat de lijst van bezochte posities (start inclusief) als NumPy arrays teruggeeft. Kies dan my_lr zodat je, op de kom uit de les, beginnend bij (3, 4), binnen 0.01 van de bodem bent in maximaal 15 stappen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.