Neerwaarts lopen (gradient descent met de hand)
Waarom dit ertoe doetHet handmatig kiezen van gewichten schaalt niet naar een miljoen gewichten. De gradient vertelt elk gewicht tegelijk welke kant naar beneden is.
Noem het
Voor de verliesfunctie L = mean((X @ w + b - y) squared), verplaats w1 een beetje en L verandert met 2 * mean(error * x1), waarbij error de voorspelling min de waarheid is. Dat is de afgeleide van L ten opzichte van w1. Alles tegelijk: grad_w = 2 * X.T @ error / n, en grad_b = 2 * mean(error).
Lees het in gewone woorden
Als de voorspellingen te hoog zijn (fout-positief) bij huizen met een grote grootte, dan helpt het om w1 te verlagen, en de gradiënt voor w1 is positief, dus trekken we het ervan af. Elke stap: w = w - lr * grad_w, waarbij lr, de learning rate, de stapgrootte bepaalt.
Gradient descent: herhaal "bereken de gradient, neem een kleine stap tegen het aan". Learning rate: de grootte van elke stap.
Roep de Curve op
Voordat je je training uitvoert, raad je de loss bij stappen 0, 10, 50 en 200 in my_guess. De code print jouw gok naast de waarheid.
Samenvatting Gradient, stap ertegenaan, herhaal.
Woorden en symbolen in deze les
- weights (w, W), bias (b)
- de getallen die een neuron leert; de bias verschuift zijn output
- leersnelheid (lr)
- hoe groot elke trainingsstap is
Schrijf gradients(X, y, w, b) die (grad_w, grad_b) retourneert, en train(X, y, lr, steps) beginnend vanaf nul die (w, b, losses) retourneert, waarbij losses de loss bevat voor elke stap. Vul my_guess eerst in. De getrainde loss moet eindigen onder 0.01 met lr 0.5 en de 201 stappen die de starter vraagt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.