Programma Lezione 54 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

Registrare il grafo e ordinarlo

Perché è importante La passata all'indietro deve visitare ogni scatola solo dopo ogni scatola che dipende da lei. Sbagliare quest'ordine dà gradienti sbagliati in silenzio.

Guardalo

Immagina x usato due volte: a = x * 2, b = x * 3, L = a + b. È un diamante. Andando indietro da L, dobbiamo finire sia con a sia con b prima di occuparci di x, perché il gradiente di x è la somma di ciò che torna attraverso entrambi.

La soluzione è elencare i nodi in ordine topologico: ogni nodo dopo tutti i suoi genitori. La passata all'indietro percorre poi quella lista al contrario. Una ricerca in profondità crea la lista: visita prima i genitori di un nodo, poi aggiungi il nodo, e salta i nodi già visti.

Ordine topologico: un ordinamento di un grafo in cui ogni nodo viene dopo i nodi da cui dipende.

Parole e simboli di questa lezione
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
ordine topologico
ogni nodo elencato dopo i nodi da cui dipende
.grad
il gradiente della loss finale rispetto a questo Tensor
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Tocca a te

Scrivi il metodo topo: restituisci ogni nodo da cui dipende self (compreso se stesso), ognuno dopo tutti i suoi genitori, senza duplicati.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.