Programma Lezione 60 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

Punta il controllore sul tuo motore

Perché è importante Un motore con una regola sbagliata si addestrerà, lentamente e male, e potresti non saperlo mai. Da qui in poi, ogni nuova operazione viene controllata prima di essere usata.

Il tuo controllore del Modulo 3 spostava array NumPy. Qui, sposta sul posto il data di un Tensor, ricostruisci il calcolo, e confronta con ciò che backward ha lasciato in .grad.

La ricetta: (1) costruisci l'output e chiama backward() una volta per avere i gradienti del motore. (2) Per ogni input e ogni elemento, sposta data in su e in giù, ricostruisci, e leggi il valore dell'output. (3) Riporta l'errore relativo più grande.

Riepilogo Non fidarti mai di una nuova regola all'indietro finché non ha superato un controllo.

Parole e simboli di questa lezione
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
.grad
il gradiente della loss finale rispetto a questo Tensor
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Tocca a te

Scrivi engine_check(build, inputs): build() restituisce un Tensor scalare calcolato dai Tensor della lista inputs. Restituisci l'errore relativo più grande tra i gradienti del motore e quelli ottenuti spostando. Riporta a zeri il grad di ogni input prima di chiamare backward. Il test nascosto pianta tre bug nel motore, uno alla volta; il tuo controllore deve riportare più di 1e-3 per ciascuno, e meno di 1e-6 per il motore corretto.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.