Registrare il grafo e ordinarlo
Perché è importante La passata all'indietro deve visitare ogni scatola solo dopo ogni scatola che dipende da lei. Sbagliare quest'ordine dà gradienti sbagliati in silenzio.
Guardalo
Immagina x usato due volte: a = x * 2, b = x * 3, L = a + b. È un diamante. Andando indietro da L, dobbiamo finire sia con a sia con b prima di occuparci di x, perché il gradiente di x è la somma di ciò che torna attraverso entrambi.
La soluzione è elencare i nodi in ordine topologico: ogni nodo dopo tutti i suoi genitori. La passata all'indietro percorre poi quella lista al contrario. Una ricerca in profondità crea la lista: visita prima i genitori di un nodo, poi aggiungi il nodo, e salta i nodi già visti.
Ordine topologico: un ordinamento di un grafo in cui ogni nodo viene dopo i nodi da cui dipende.
Parole e simboli di questa lezione
- Tensor
- qui: un array più il suo gradiente più i Tensor da cui viene
- ordine topologico
- ogni nodo elencato dopo i nodi da cui dipende
- .grad
- il gradiente della loss finale rispetto a questo Tensor
- unbroadcast
- sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Scrivi il metodo topo: restituisci ogni nodo da cui dipende self (compreso se stesso), ognuno dopo tutti i suoi genitori, senza duplicati.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.