Punta il controllore sul tuo motore
Perché è importante Un motore con una regola sbagliata si addestrerà, lentamente e male, e potresti non saperlo mai. Da qui in poi, ogni nuova operazione viene controllata prima di essere usata.
Il tuo controllore del Modulo 3 spostava array NumPy. Qui, sposta sul posto il data di un Tensor, ricostruisci il calcolo, e confronta con ciò che backward ha lasciato in .grad.
La ricetta: (1) costruisci l'output e chiama backward() una volta per avere i gradienti del motore. (2) Per ogni input e ogni elemento, sposta data in su e in giù, ricostruisci, e leggi il valore dell'output. (3) Riporta l'errore relativo più grande.
Riepilogo Non fidarti mai di una nuova regola all'indietro finché non ha superato un controllo.
Parole e simboli di questa lezione
- Tensor
- qui: un array più il suo gradiente più i Tensor da cui viene
- .grad
- il gradiente della loss finale rispetto a questo Tensor
- unbroadcast
- sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Scrivi engine_check(build, inputs): build() restituisce un Tensor scalare calcolato dai Tensor della lista inputs. Restituisci l'errore relativo più grande tra i gradienti del motore e quelli ottenuti spostando. Riporta a zeri il grad di ogni input prima di chiamare backward. Il test nascosto pianta tre bug nel motore, uno alla volta; il tuo controllore deve riportare più di 1e-3 per ciascuno, e meno di 1e-6 per il motore corretto.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.