Rückwärts für add und multiply
Warum das wichtig ist Mit diesen zwei Regeln und der Reihenfolge kann deine Engine bereits jede Formel aus Summen und Produkten unterscheiden.
Jede Operation fügt eine kleine function, _backward, an den Tensor an, den sie erstellt. Wenn sie aufgerufen wird, liest sie out.grad und fügt ihren Anteil zum grad jedes Elternteils hinzu:
- Für
out = a + b: a erhältout.grad, b erhältout.grad. - Für
out = a * b: a erhältout.grad * b.data, b erhältout.grad * a.data.
Füge add immer zum Grad des Elternknotens hinzu (+= style), überschreibe niemals: ein zweimal verwendeter Knoten muss beide Beiträge sammeln. Dann setzt backward() den Grad des finalen Knotens auf 1 und ruft jede _backward in umgekehrter topologischer Reihenfolge auf.
(Der bereitgestellte unbroadcast Helfer, der oben importiert wurde, verarbeitet Formen, die durch Broadcasting gestreckt wurden. Du wirst in zwei Lektionen deine eigene Version schreiben; wickle vorerst jeden Beitrag darin ein.)
Wörter und Symbole in dieser Lektion
- Tensor
- hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
- topologische Ordnung
- jeder Knoten wird nach den Knoten aufgelistet, von denen er abhängt
- .grad
- der Gradient des finalen loss bezüglich dieses Tensors
- unbroadcast
- summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Fülle die zwei _backward Funktionen und die backward Methode aus. Die versteckten Test gradient-checks Formeln mischen + und *, einschließlich eines Knotens, der zweimal verwendet wird.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.