Lehrplan Lektion 54 von 246 · Modul 4: Deine eigene autograd engine
Modul 4: Deine eigene autograd engine

Den Graphen aufzeichnen und ihn sortieren

Warum das wichtig ist Backward muss jede Box erst besuchen, nachdem jede Box besucht wurde, die von ihr abhängt. Wenn diese Reihenfolge falsch ist, entstehen stillschweigend falsche Gradienten.

Sieh es dir an

Bild x wird zweimal verwendet: a = x * 2, b = x * 3, L = a + b. Dies ist eine Raute. Wenn wir von L rückwärts gehen, müssen wir sowohl a als auch b abschließen, bevor wir x bearbeiten, weil der Gradient von x die Summe dessen ist, was durch beide zurückkommt.

Die Lösung ist, die Knoten in topological order zu listen: jeder Knoten nach all seinen Eltern. Danach wird diese Liste rückwärts durchlaufen. Eine depth-first search erstellt die Liste: besuche zuerst die Eltern eines Knotens, füge dann den Knoten hinzu und überspringe bereits besuchte Knoten.

Topologische Ordnung: eine Anordnung eines Graphen, bei der jeder Knoten nach den Knoten kommt, von denen er abhängt.

Wörter und Symbole in dieser Lektion
Tensor
hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
topologische Ordnung
jeder Knoten wird nach den Knoten aufgelistet, von denen er abhängt
.grad
der Gradient des finalen loss bezüglich dieses Tensors
unbroadcast
summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Du bist dran

Schreibe die topo Methode: gib jeden Knoten zurück, auf den self abhängt (einschließlich sich selbst), jeden nach all seinen Eltern, ohne Duplikate.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.