Programma Lezione 51 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

Aggancio: dieci righe che addestrano un lettore di cifre

Perché è importante Nel Modulo 3 hai scritto ogni gradiente a mano. Le reti vere hanno decine di tipi di layer; nessuno li ricava a mano ogni volta. Un motore di autograd lo fa per te, e alla fine di questo modulo ne avrai scritto uno.

Le prime righe importano il motore finito che stai per costruire (è tenuto nascosto, così le prossime lezioni restano da risolvere a te). Guarda le dieci righe dopo i dati: costruiscono una rete, e la addestrano sulle cifre, e da nessuna parte menzionano una formula del gradiente. loss.backward() le ricava tutte.

Prima Indovina la curva: indovina la loss media di addestramento dopo l'epoca 1 e dopo l'epoca 10.

Autograd: differenziazione automatica. Scrivi solo il calcolo in avanti; il motore lo registra e calcola ogni gradiente eseguendo all'indietro la regola della catena.

Parole e simboli di questa lezione
autograd
gradienti automatici: scrivi tu la passata in avanti, il motore fa quella all'indietro
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
zero_grad
azzerare i gradienti prima del passo successivo, perché backward ci somma sopra
Tocca a te

Compila my_guess, poi esegui. Leggi le dieci righe di addestramento e nota che cosa manca.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.