Lehrplan Lektion 58 von 246 · Modul 4: Deine eigene autograd engine
Modul 4: Deine eigene autograd engine

Summen, Mittelwerte, Umformungen und Transpositionen

Warum das wichtig ist Ein Loss ist eine Summe oder ein Mittelwert, und Layer verändern und transponieren die Form ständig. Jedes braucht eine Backward-Regel, und jede Regel ist eine Einzeiler.

  • sum (zu einer Zahl): jeder Eintrag wurde mit Steigung 1 beigetragen, also erhält jeder den ankommenden Gradienten. Gradient: Einsen der Form der Eingabe, mal out.grad.
  • mean: eine Summe mal 1/size. Baue es aus sum und multiply auf, also braucht es keine eigene Regel.
  • reshape: Werte werden nur umgeordnet, also reshape den gradient zurück zur Form der Eingabe.
  • transpose: transponiere den Gradienten zurück.

Zusammenfassung Das Verschieben von Zahlen verschiebt den Gradienten auf die gleiche Weise zurück.

Wörter und Symbole in dieser Lektion
Tensor
hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
.grad
der Gradient des finalen loss bezüglich dieses Tensors
unbroadcast
summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Du bist dran

Schreibe sum, mean, reshape und die T Eigenschaft mit ihren Rückwärtsregeln.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.