Backprop & Gradient Checking
Du hast ein Spielzeugmodell trainiert, indem du die Gewichte bergab geschoben hast. Aber woher kommen die Gradienten und wie weißt du, dass sie richtig sind? Diese Lektion beantwortet beides, und die zweite Antwort, gradient checking, ist die einzige Gewohnheit, die funktionierende neuronale Netze von stillschweigend kaputten unterscheidet.
Backprop ist einfach die Kettenregel. Nimm ein Beispiel durch ein winziges Modell: prädiziere z = w * x, dann messe den quadratischen Fehler L = (z - y)**2. Um w zu verbessern, brauchst du dL/dw. Berechne es in zwei Schritten und multipliziere:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xDieses Produkt IST Backpropagation im Miniaturformat: jede Schicht multipliziert den rückfließenden Gradienten mit ihrer eigenen lokalen Ableitung. Staple eine Million davon und du hast ein tiefes Netzwerk.
Ist deine Formel jetzt korrekt? Überprüfe sie numerisch. Die Definition einer Ableitung ist ein winziger Stoß, also schätze sie mit einer central finite difference und prüfe, ob der analytische Gradient übereinstimmt:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsWenn sie nicht übereinstimmen, hat dein backward pass einen Bug, jede ernsthafte DL-Codebasis führt gradient-checks genau aus diesem Grund aus.
Erstelle zwei Funktionen. loss(w, x, y) gibt (w*x - y)**2 zurück. grad(w, x, y) gibt den analytischen Gradienten dL/dw = 2*(w*x - y)*x zurück. Die versteckten Tests werden deinen grad mittels Gradientenprüfung gegen eine endliche Differenz deines eigenen loss über viele zufällige Punkte prüfen, also kann eine falsche Formel nicht bestehen. Drücke Run um zu sehen, ob analytisch und numerisch übereinstimmen.
Schreibe loss(w, x, y), das den squared error (w*x - y)**2 zurückgibt, und grad(w, x, y), das seinen analytischen Gradienten in Bezug auf w zurückgibt, welcher nach der Kettenregel 2*(w*x - y)*x ist. Dein grad wird gegen eine zentrale endliche Differenz deines eigenen loss an vielen zufälligen Punkten geprüft, also muss es die wahre Ableitung sein, keine Annäherung oder eine Konstante.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.