Programma Les 64 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

Verliesoppervlakken waar je op kunt lopen

Waarom dit ertoe doet Elke optimiser is een andere manier om naar beneden te lopen op een landschap dat je niet kunt zien. Loop eerst een simpele.

Stel de loss voor als een landschap: twee weights zijn je positie op een kaart, en de loss is de hoogte. Training is naar beneden wandelen. De gradient wijst omhoog, dus elke step gaat de andere kant op: position = position - lr * gradient.

Tintalletjes

In de kom f(x, y) = x squared + y squared is de gradiënt bij (3, 4) gelijk aan (6, 8). Met lr 0.1 gaat de stap naar (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Elke stap behoudt 80% van de afstand tot de bodem, dus na 20 stappen ben je op ongeveer 1% van waar je begon.

Learning rate: hoe ver je stapt ten opzichte van de gradient. Te klein kruipt; te groot schiet over.

Samenvatting Stap tegen de gradiënt; de learning rate bepaalt de stapgrootte.

Jij bent aan de beurt

Schrijf descend(grad, start, lr, steps) dat de lijst van bezochte posities (start inclusief) als NumPy arrays teruggeeft. Kies dan my_lr zodat je, op de kom uit de les, beginnend bij (3, 4), binnen 0.01 van de bodem bent in maximaal 15 stappen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.