Trova e correggi il bug piantato
Perché è importante I bug peggiori nel machine learning non fanno crashare niente. Addestrano, un po' peggio di quanto dovrebbero, e nessuno se ne accorge. Un controllo del gradiente li trova in pochi secondi.
Un collega ha riscritto il codice dei gradienti dello studio per renderlo più veloce: suspect_grads. Non puoi leggerlo, come spesso succede nel lavoro vero (una libreria, il branch di un compagno di squadra, codice generato). Addestrata con esso, la tua baseline impara comunque: sul piano di default del corso il punteggio language è solo circa 0.05 peggiore, e su images, con il seed 0, ottiene perfino di più. Entrambi stanno dentro ciò che un lettore distratto chiama rumore. Qualcosa lì dentro è sbagliato.
Controllalo come ha insegnato il Modulo 3: spingi un peso di una piccola quantità, misura la variazione della loss, e confrontala con la pendenza che dichiara il codice. Fallo per 5 elementi di ognuno tra W1, b1, W2 e b2 su un modello piccolo (larghezza 8, un batch di 16), scelti tra gli elementi la cui pendenza dichiarata non è zero (con input one-hot, la maggior parte delle pendenze di W1 è esattamente 0, e un controllo lì non dimostra niente). Misura la loss in float64 con studio.loss64 e una spinta di 1e-4; considera sbagliato un errore relativo sopra 0.01.
Parole e simboli di questa lezione
- baseline
- l'esecuzione semplice rispetto a cui si misura ogni cambiamento, sugli stessi seed
- controllo del gradiente
- confrontare la pendenza che calcola il tuo codice con quella misurata spingendo un peso
Scrivi check(grad_fn) che restituisce, per ognuno tra 'W1', 'b1', 'W2', 'b2', l'errore relativo più grande su 5 elementi. Imposta wrong sui nomi ordinati il cui errore è sopra 0.01, e cause su una frase: che cosa c'è nel passaggio all'indietro dove stanno i gradienti sbagliati, e che cosa probabilmente è stato tolto lì. Poi scrivi tu fixed_grads (il passaggio in avanti è m.forward; la loss e la sua pendenza sono studio.loss_and_dout). Poi addestra la tua baseline (seed 0) con ciascuno e stampa entrambi i punteggi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.