Lehrplan Lektion 51 von 246 · Modul 4: Deine eigene autograd engine
Modul 4: Deine eigene autograd engine

Hook: zehn Zeilen, die einen Ziffernleser trainieren

Warum das wichtig istIn Modul 3 hast du jeden Gradienten von Hand geschrieben. Echte Netzwerke haben Dutzende von Layer-Typen; niemand leitet diese jedes Mal von Hand her. Eine Autograd-Engine macht das für dich, und am Ende dieses Moduls wirst du eine geschrieben haben.

Die ersten Zeilen importieren die fertige Engine, die du gleich bauen wirst (sie bleibt aus dem Blickfeld, damit die kommenden Lektionen deine Aufgabe bleiben). Schau dir die zehn Zeilen nach den Daten an: sie bauen ein Netzwerk, trainieren es auf Ziffern, und nirgendwo erwähnen sie eine Gradientenformel. loss.backward() berechnet sie alle heraus.

Rufe die Curve zuerst auf: schätze den mittleren Trainingsverlust nach epoch 1 und nach epoch 10.

Autograd: automatische Differenzierung. Du schreibst nur die Vorwärtsberechnung; die Engine zeichnet sie auf und berechnet jeden Gradienten, indem sie die Kettenregel rückwärts anwendet.

Wörter und Symbole in dieser Lektion
autograd
automatische Gradienten: du schreibst den forward pass, die engine macht den backward
Tensor
hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
zero_grad
Gradienten vor dem nächsten Schritt zurücksetzen, weil backward sie hinzufügt
Du bist dran

Fülle my_guess aus und führe es dann aus. Lies die zehn Trainingszeilen und beachte, was fehlt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.