Bergab gehen (Gradient Descent von Hand)
Warum das wichtig ist Gewichte von Hand zu wählen, skaliert nicht auf eine Million Gewichte. Der Gradient sagt jedem Gewicht auf einmal, wo es bergab geht.
Benenn es
Für den Verlust L = mean((X @ w + b - y) zum Quadrat): Stups w1 an, und L ändert sich um 2 * mean(error * x1), wobei error die Vorhersage minus die Wahrheit ist. Das ist die Ableitung von L nach w1. Alles auf einmal: grad_w = 2 * X.T @ error / n, und grad_b = 2 * mean(error).
Lies es in einfachen Worten
Sind die Vorhersagen bei großen Häusern zu hoch (error positiv), hilft es, w1 zu senken, und der Gradient für w1 ist positiv, also ziehen wir ihn ab. Jeder Schritt: w = w - lr * grad_w, wobei lr, die Lernrate, die Schrittgröße festlegt.
Gradientenabstieg: wiederhole "berechne den Gradienten, mach einen kleinen Schritt dagegen". Lernrate: die Größe jedes Schritts.
Tipp die Kurve
Bevor du dein Training laufen lässt, schätze in my_guess den Verlust bei den Schritten 0, 10, 50 und 200. Der Code gibt deine Schätzung neben der Wahrheit aus.
Zusammenfassung Gradient, Schritt dagegen, wiederholen.
Wörter und Symbole in dieser Lektion
- Gewichte (w, W), Bias (b)
- die Zahlen, die ein Neuron lernt; der Bias verschiebt seine Ausgabe
- Lernrate (lr)
- wie groß jeder Trainingsschritt ist
Schreibe gradients(X, y, w, b) zurückgebend (grad_w, grad_b), und train(X, y, lr, steps) startend von Nullen und zurückgebend (w, b, losses), wobei losses den loss vor jedem step hält. Fülle my_guess zuerst aus. Der trainierte loss muss unter 0.01 enden mit lr 0.5 und den 201 steps, die der starter verlangt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.