Lehrplan Lektion 55 von 246 · Modul 4: Deine eigene autograd engine
Modul 4: Deine eigene autograd engine

Rückwärts für add und multiply

Warum das wichtig ist Mit diesen zwei Regeln und der Reihenfolge kann deine Engine bereits jede Formel aus Summen und Produkten unterscheiden.

Jede Operation fügt eine kleine function, _backward, an den Tensor an, den sie erstellt. Wenn sie aufgerufen wird, liest sie out.grad und fügt ihren Anteil zum grad jedes Elternteils hinzu:

  • Für out = a + b: a erhält out.grad, b erhält out.grad.
  • Für out = a * b: a erhält out.grad * b.data, b erhält out.grad * a.data.

Füge add immer zum Grad des Elternknotens hinzu (+= style), überschreibe niemals: ein zweimal verwendeter Knoten muss beide Beiträge sammeln. Dann setzt backward() den Grad des finalen Knotens auf 1 und ruft jede _backward in umgekehrter topologischer Reihenfolge auf.

(Der bereitgestellte unbroadcast Helfer, der oben importiert wurde, verarbeitet Formen, die durch Broadcasting gestreckt wurden. Du wirst in zwei Lektionen deine eigene Version schreiben; wickle vorerst jeden Beitrag darin ein.)

Wörter und Symbole in dieser Lektion
Tensor
hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
topologische Ordnung
jeder Knoten wird nach den Knoten aufgelistet, von denen er abhängt
.grad
der Gradient des finalen loss bezüglich dieses Tensors
unbroadcast
summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Du bist dran

Fülle die zwei _backward Funktionen und die backward Methode aus. Die versteckten Test gradient-checks Formeln mischen + und *, einschließlich eines Knotens, der zweimal verwendet wird.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.