Programma Les 53 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

Een Tensor: een array die onthoudt

Waarom dit ertoe doet Het enige gegevenstype van de engine is een Tensor: een array plus een plek voor zijn gradient plus een notitie van waar het vandaan kwam.

A Tensor bevat drie dingen:

  • data: de NumPy array van waarden.
  • grad: een array van dezelfde vorm, beginnend bij nullen, die achterwaarts zal vullen.
  • parents: de Tensors waaruit het is berekend (leeg voor inputs en weights).

Elke operatie maakt een nieuwe Tensor en legt de ouders vast. Vandaag alleen het forward deel van + en *: bereken de waarden en onthoud de ouders.

Tensor: in deep learning, simpelweg een n-dimensionale array. Hier, een array die ook een gradient en zijn geschiedenis draagt.

Woorden en symbolen in deze les
Tensor
hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
.grad
de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
unbroadcast
summing een gradient terug naar de vorm waar het van is uitgerekt
Jij bent aan de beurt

Vul __add__ en __mul__ in zodat ze een nieuwe Tensor teruggeven waarvan de data de som of het product is, en waarvan de parents (self, other) is. Gewone getallen moeten ook werken, via Tensor.lift. Laat _backward voor nu even staan.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.