Programma Lezione 104 di 250 · Intuizione sulle reti neurali, LLM e progetto finale di IA
Intuizione sulle reti neurali, LLM e progetto finale di IA

Retropropagazione e controllo del gradiente

Hai addestrato un modello giocattolo spostando i pesi in discesa. Ma da dove vengono i gradienti, e come fai a sapere che sono giusti? Questa lezione risponde a entrambe le domande, e la seconda risposta, il controllo del gradiente, è l'abitudine che separa le reti neurali che funzionano da quelle rotte in silenzio.

La retropropagazione è solo la regola della catena. Prendi un esempio attraverso un piccolo modello: prevedi z = w * x, poi misura l'errore quadratico L = (z - y)**2. Per migliorare w ti serve dL/dw. Calcolalo in due salti e moltiplica:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Quel prodotto È la retropropagazione, in miniatura: ogni livello moltiplica il gradiente che torna indietro per la propria derivata locale. Impilane un milione e hai una rete profonda.

Ora, la tua formula è giusta? Verificala numericamente. La definizione di derivata è una spinta minuscola, quindi stimala con una differenza finita centrale e controlla che il gradiente analitico coincida:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

Se non coincidono, la tua passata all'indietro ha un bug, ed è proprio per questo che ogni codice serio di deep learning fa il controllo del gradiente.

Costruisci due funzioni. loss(w, x, y) restituisce (w*x - y)**2. grad(w, x, y) restituisce il gradiente analitico dL/dw = 2*(w*x - y)*x. I test nascosti controlleranno il tuo grad contro una differenza finita della tua loss su molti punti casuali, quindi una formula sbagliata non può passare. Premi Run per vedere analitico e numerico coincidere.

Tocca a te

Scrivi loss(w, x, y) che restituisce l'errore quadratico (w*x - y)**2, e grad(w, x, y) che restituisce il suo gradiente analitico rispetto a w, che per la regola della catena è 2*(w*x - y)*x. Il tuo grad verrà controllato contro una differenza finita centrale della tua loss in molti punti casuali, quindi deve essere la vera derivata, non un'approssimazione o una costante.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.