All'indietro per somma e moltiplicazione
Perché è importante Con queste due regole e l'ordinamento, il tuo motore sa già differenziare qualsiasi formula fatta di somme e prodotti.
Ogni operazione attacca una piccola funzione, _backward, al Tensor che crea. Quando viene chiamata, legge out.grad e aggiunge la sua parte al grad di ogni genitore:
- Per
out = a + b: a riceveout.grad, b riceveout.grad. - Per
out = a * b: a riceveout.grad * b.data, b riceveout.grad * a.data.
Aggiungi sempre al grad del genitore (stile +=), non sovrascriverlo mai: un nodo usato due volte deve raccogliere entrambi i contributi. Poi backward() imposta il grad del nodo finale a 1 e chiama ogni _backward in ordine topologico inverso.
(La funzione di supporto unbroadcast fornita, importata in cima, gestisce le forme che sono state allungate dal broadcasting. Scriverai la tua versione tra due lezioni; per ora, avvolgi in essa ogni contributo.)
Parole e simboli di questa lezione
- Tensor
- qui: un array più il suo gradiente più i Tensor da cui viene
- ordine topologico
- ogni nodo elencato dopo i nodi da cui dipende
- .grad
- il gradiente della loss finale rispetto a questo Tensor
- unbroadcast
- sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Completa le due funzioni _backward e il metodo backward. Il test nascosto fa il controllo del gradiente su formule che mescolano + e *, compreso un nodo usato due volte.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.