Un controllore del gradiente che userai per tutto il corso
Perché è importante Un gradiente sbagliato non manda in crash. L'addestramento va semplicemente male in silenzio. Un controllore del gradiente coglie l'errore in pochi secondi, e userai questo in ogni modulo.
L'idea è lo spostamento del Modulo 2, fatto per ogni peso: sposta il peso i in su e in giù di h, misura la loss entrambe le volte, e dividi la differenza per 2h. Confronta con il gradiente della tua formula.
Quanto vicino è vicino?
Usa l'errore relativo: |a - b| diviso per il maggiore tra |a| e |b| (o 1e-8 se entrambi sono minuscoli). Sotto 1e-6 è superato; sopra 1e-3 significa quasi sempre un bug.
Controllo del gradiente: confrontare un gradiente analitico (dalla tua formula) con uno numerico (dagli spostamenti).
Riepilogo Un arbitro lento ma affidabile. Usalo prima di fidarti di qualsiasi gradiente nuovo.
Parole e simboli di questa lezione
- learning rate (lr)
- quanto è grande ogni passo di addestramento
- controllo del gradiente
- confrontare la tua formula del gradiente con una stima fatta spostando e misurando
Scrivi numeric_grad(f, w, h=1e-5) (w è un array NumPy di qualsiasi forma; restituisci un array della stessa forma) e grad_check(f, grad, w) che restituisce l'errore relativo più grande. Qui f(w) prende l'array dei pesi e restituisce la loss come un numero, e grad è un array (il gradiente della tua formula in w, già calcolato), non una funzione. Non modificare w in modo permanente. Per visitare ogni posizione di un array di qualsiasi forma, for idx in np.ndindex(w.shape): dà a turno ogni tupla di indici. Il test nascosto dà al tuo controllore tre gradienti leggermente sbagliati; ognuno deve superare 1e-3.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.