Programma Lezione 55 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

All'indietro per somma e moltiplicazione

Perché è importante Con queste due regole e l'ordinamento, il tuo motore sa già differenziare qualsiasi formula fatta di somme e prodotti.

Ogni operazione attacca una piccola funzione, _backward, al Tensor che crea. Quando viene chiamata, legge out.grad e aggiunge la sua parte al grad di ogni genitore:

  • Per out = a + b: a riceve out.grad, b riceve out.grad.
  • Per out = a * b: a riceve out.grad * b.data, b riceve out.grad * a.data.

Aggiungi sempre al grad del genitore (stile +=), non sovrascriverlo mai: un nodo usato due volte deve raccogliere entrambi i contributi. Poi backward() imposta il grad del nodo finale a 1 e chiama ogni _backward in ordine topologico inverso.

(La funzione di supporto unbroadcast fornita, importata in cima, gestisce le forme che sono state allungate dal broadcasting. Scriverai la tua versione tra due lezioni; per ora, avvolgi in essa ogni contributo.)

Parole e simboli di questa lezione
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
ordine topologico
ogni nodo elencato dopo i nodi da cui dipende
.grad
il gradiente della loss finale rispetto a questo Tensor
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Tocca a te

Completa le due funzioni _backward e il metodo backward. Il test nascosto fa il controllo del gradiente su formule che mescolano + e *, compreso un nodo usato due volte.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.