Lehrplan Lektion 53 von 246 · Modul 4: Deine eigene autograd engine
Modul 4: Deine eigene autograd engine

Ein Tensor: ein Array, das sich erinnert

Warum das wichtig ist Der einzige Datentyp der Engine ist ein Tensor: ein Array plus ein Platz für seinen Gradienten plus ein Vermerk, woher er stammt.

Ein Tensor hält drei Dinge:

  • data: das NumPy-Array der Werte.
  • grad: ein Array derselben Form, das bei Nullen beginnt und das backward füllen wird.
  • parents: die Tensoren, aus denen er berechnet wurde (leer bei Eingaben und Gewichten).

Jede Operation erzeugt einen neuen Tensor und hält seine Eltern fest. Heute nur der Vorwärtsteil von + und *: die Werte berechnen und die Eltern merken.

Tensor: im Deep Learning einfach ein n-dimensionales Array. Hier ein Array, das außerdem einen Gradienten und seine Geschichte trägt.

Wörter und Symbole in dieser Lektion
Tensor
hier: ein Array plus sein Gradient plus die Tensoren, aus denen er stammt
.grad
der Gradient des endgültigen Verlusts nach diesem Tensor
unbroadcast
einen Gradienten auf die Form zurücksummieren, aus der er gestreckt wurde
Du bist dran

Fülle __add__ und __mul__ aus, damit sie einen neuen Tensor zurückgeben, dessen data die Summe oder das Produkt ist und dessen parents (self, other) ist. Auch einfache Zahlen sollten über Tensor.lift funktionieren. Lass _backward vorerst in Ruhe.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.