Lehrplan Lektion 40 von 246 · Modul 3: Neuron zu MLP
Modul 3: Neuron zu MLP

Bergab gehen (Gradient Descent von Hand)

Warum das wichtig ist Gewichte von Hand zu wählen, skaliert nicht auf eine Million Gewichte. Der Gradient sagt jedem Gewicht auf einmal, wo es bergab geht.

Benenn es

Für den Verlust L = mean((X @ w + b - y) zum Quadrat): Stups w1 an, und L ändert sich um 2 * mean(error * x1), wobei error die Vorhersage minus die Wahrheit ist. Das ist die Ableitung von L nach w1. Alles auf einmal: grad_w = 2 * X.T @ error / n, und grad_b = 2 * mean(error).

Lies es in einfachen Worten

Sind die Vorhersagen bei großen Häusern zu hoch (error positiv), hilft es, w1 zu senken, und der Gradient für w1 ist positiv, also ziehen wir ihn ab. Jeder Schritt: w = w - lr * grad_w, wobei lr, die Lernrate, die Schrittgröße festlegt.

Gradientenabstieg: wiederhole "berechne den Gradienten, mach einen kleinen Schritt dagegen". Lernrate: die Größe jedes Schritts.

Tipp die Kurve

Bevor du dein Training laufen lässt, schätze in my_guess den Verlust bei den Schritten 0, 10, 50 und 200. Der Code gibt deine Schätzung neben der Wahrheit aus.

Zusammenfassung Gradient, Schritt dagegen, wiederholen.

Wörter und Symbole in dieser Lektion
Gewichte (w, W), Bias (b)
die Zahlen, die ein Neuron lernt; der Bias verschiebt seine Ausgabe
Lernrate (lr)
wie groß jeder Trainingsschritt ist
Du bist dran

Schreibe gradients(X, y, w, b) zurückgebend (grad_w, grad_b), und train(X, y, lr, steps) startend von Nullen und zurückgebend (w, b, losses), wobei losses den loss vor jedem step hält. Fülle my_guess zuerst aus. Der trainierte loss muss unter 0.01 enden mit lr 0.5 und den 201 steps, die der starter verlangt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.