Programma Les 40 van 246 · Module 3: Neuron naar MLP
Module 3: Neuron naar MLP

Neerwaarts lopen (gradient descent met de hand)

Waarom dit ertoe doetHet handmatig kiezen van gewichten schaalt niet naar een miljoen gewichten. De gradient vertelt elk gewicht tegelijk welke kant naar beneden is.

Noem het

Voor de verliesfunctie L = mean((X @ w + b - y) squared), verplaats w1 een beetje en L verandert met 2 * mean(error * x1), waarbij error de voorspelling min de waarheid is. Dat is de afgeleide van L ten opzichte van w1. Alles tegelijk: grad_w = 2 * X.T @ error / n, en grad_b = 2 * mean(error).

Lees het in gewone woorden

Als de voorspellingen te hoog zijn (fout-positief) bij huizen met een grote grootte, dan helpt het om w1 te verlagen, en de gradiënt voor w1 is positief, dus trekken we het ervan af. Elke stap: w = w - lr * grad_w, waarbij lr, de learning rate, de stapgrootte bepaalt.

Gradient descent: herhaal "bereken de gradient, neem een kleine stap tegen het aan". Learning rate: de grootte van elke stap.

Roep de Curve op

Voordat je je training uitvoert, raad je de loss bij stappen 0, 10, 50 en 200 in my_guess. De code print jouw gok naast de waarheid.

Samenvatting Gradient, stap ertegenaan, herhaal.

Woorden en symbolen in deze les
weights (w, W), bias (b)
de getallen die een neuron leert; de bias verschuift zijn output
leersnelheid (lr)
hoe groot elke trainingsstap is
Jij bent aan de beurt

Schrijf gradients(X, y, w, b) die (grad_w, grad_b) retourneert, en train(X, y, lr, steps) beginnend vanaf nul die (w, b, losses) retourneert, waarbij losses de loss bevat voor elke stap. Vul my_guess eerst in. De getrainde loss moet eindigen onder 0.01 met lr 0.5 en de 201 stappen die de starter vraagt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.