Retropropagazione e controllo del gradiente
Hai addestrato un modello giocattolo spostando i pesi in discesa. Ma da dove vengono i gradienti, e come fai a sapere che sono giusti? Questa lezione risponde a entrambe le domande, e la seconda risposta, il controllo del gradiente, è l'abitudine che separa le reti neurali che funzionano da quelle rotte in silenzio.
La retropropagazione è solo la regola della catena. Prendi un esempio attraverso un piccolo modello: prevedi z = w * x, poi misura l'errore quadratico L = (z - y)**2. Per migliorare w ti serve dL/dw. Calcolalo in due salti e moltiplica:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xQuel prodotto È la retropropagazione, in miniatura: ogni livello moltiplica il gradiente che torna indietro per la propria derivata locale. Impilane un milione e hai una rete profonda.
Ora, la tua formula è giusta? Verificala numericamente. La definizione di derivata è una spinta minuscola, quindi stimala con una differenza finita centrale e controlla che il gradiente analitico coincida:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsSe non coincidono, la tua passata all'indietro ha un bug, ed è proprio per questo che ogni codice serio di deep learning fa il controllo del gradiente.
Costruisci due funzioni. loss(w, x, y) restituisce (w*x - y)**2. grad(w, x, y) restituisce il gradiente analitico dL/dw = 2*(w*x - y)*x. I test nascosti controlleranno il tuo grad contro una differenza finita della tua loss su molti punti casuali, quindi una formula sbagliata non può passare. Premi Run per vedere analitico e numerico coincidere.
Scrivi loss(w, x, y) che restituisce l'errore quadratico (w*x - y)**2, e grad(w, x, y) che restituisce il suo gradiente analitico rispetto a w, che per la regola della catena è 2*(w*x - y)*x. Il tuo grad verrà controllato contro una differenza finita centrale della tua loss in molti punti casuali, quindi deve essere la vera derivata, non un'approssimazione o una costante.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.