Programma Lezione 239 di 246 · Modulo 23: Studio del progetto finale: una model card che puoi eseguire
Modulo 23: Studio del progetto finale: una model card che puoi eseguire

Trova e correggi il bug piantato

Perché è importante I bug peggiori nel machine learning non fanno crashare niente. Addestrano, un po' peggio di quanto dovrebbero, e nessuno se ne accorge. Un controllo del gradiente li trova in pochi secondi.

Un collega ha riscritto il codice dei gradienti dello studio per renderlo più veloce: suspect_grads. Non puoi leggerlo, come spesso succede nel lavoro vero (una libreria, il branch di un compagno di squadra, codice generato). Addestrata con esso, la tua baseline impara comunque: sul piano di default del corso il punteggio language è solo circa 0.05 peggiore, e su images, con il seed 0, ottiene perfino di più. Entrambi stanno dentro ciò che un lettore distratto chiama rumore. Qualcosa lì dentro è sbagliato.

Controllalo come ha insegnato il Modulo 3: spingi un peso di una piccola quantità, misura la variazione della loss, e confrontala con la pendenza che dichiara il codice. Fallo per 5 elementi di ognuno tra W1, b1, W2 e b2 su un modello piccolo (larghezza 8, un batch di 16), scelti tra gli elementi la cui pendenza dichiarata non è zero (con input one-hot, la maggior parte delle pendenze di W1 è esattamente 0, e un controllo lì non dimostra niente). Misura la loss in float64 con studio.loss64 e una spinta di 1e-4; considera sbagliato un errore relativo sopra 0.01.

Parole e simboli di questa lezione
baseline
l'esecuzione semplice rispetto a cui si misura ogni cambiamento, sugli stessi seed
controllo del gradiente
confrontare la pendenza che calcola il tuo codice con quella misurata spingendo un peso
Tocca a te

Scrivi check(grad_fn) che restituisce, per ognuno tra 'W1', 'b1', 'W2', 'b2', l'errore relativo più grande su 5 elementi. Imposta wrong sui nomi ordinati il cui errore è sopra 0.01, e cause su una frase: che cosa c'è nel passaggio all'indietro dove stanno i gradienti sbagliati, e che cosa probabilmente è stato tolto lì. Poi scrivi tu fixed_grads (il passaggio in avanti è m.forward; la loss e la sua pendenza sono studio.loss_and_dout). Poi addestra la tua baseline (seed 0) con ciascuno e stampa entrambi i punteggi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.