Den Graphen aufzeichnen und ihn sortieren
Warum das wichtig ist Backward muss jede Box erst besuchen, nachdem jede Box besucht wurde, die von ihr abhängt. Wenn diese Reihenfolge falsch ist, entstehen stillschweigend falsche Gradienten.
Sieh es dir an
Bild x wird zweimal verwendet: a = x * 2, b = x * 3, L = a + b. Dies ist eine Raute. Wenn wir von L rückwärts gehen, müssen wir sowohl a als auch b abschließen, bevor wir x bearbeiten, weil der Gradient von x die Summe dessen ist, was durch beide zurückkommt.
Die Lösung ist, die Knoten in topological order zu listen: jeder Knoten nach all seinen Eltern. Danach wird diese Liste rückwärts durchlaufen. Eine depth-first search erstellt die Liste: besuche zuerst die Eltern eines Knotens, füge dann den Knoten hinzu und überspringe bereits besuchte Knoten.
Topologische Ordnung: eine Anordnung eines Graphen, bei der jeder Knoten nach den Knoten kommt, von denen er abhängt.
Wörter und Symbole in dieser Lektion
- Tensor
- hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
- topologische Ordnung
- jeder Knoten wird nach den Knoten aufgelistet, von denen er abhängt
- .grad
- der Gradient des finalen loss bezüglich dieses Tensors
- unbroadcast
- summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Schreibe die topo Methode: gib jeden Knoten zurück, auf den self abhängt (einschließlich sich selbst), jeden nach all seinen Eltern, ohne Duplikate.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.