Programma Lezione 53 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

Un Tensor: un array che ricorda

Perché è importante L'unico tipo di dato del motore è un Tensor: un array più uno spazio per il suo gradiente più una nota da dove viene.

Un Tensor contiene tre cose:

  • data: l'array NumPy dei valori.
  • grad: un array della stessa forma, che parte da zeri, che backward riempirà.
  • parents: i Tensor da cui è stato calcolato (vuoto per input e pesi).

Ogni operazione crea un nuovo Tensor e registra i suoi genitori. Oggi, solo la parte in avanti di + e *: calcola i valori e ricorda i genitori.

Tensor: nel deep learning, semplicemente un array n-dimensionale. Qui, un array che porta con sé anche un gradiente e la sua storia.

Parole e simboli di questa lezione
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
.grad
il gradiente della loss finale rispetto a questo Tensor
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Tocca a te

Completa __add__ e __mul__ in modo che restituiscano un nuovo Tensor il cui data è la somma o il prodotto, e i cui parents sono (self, other). Devono funzionare anche i numeri semplici, tramite Tensor.lift. Per ora lascia stare _backward.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.