Programma Lezione 61 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

Layer che tengono i propri pesi

Perché è importante Le reti vere hanno molti layer. Ogni layer dovrebbe possedere i propri pesi e saperli elencare, così il codice di addestramento non deve mai sapere che cosa c'è dentro.

Un layer Linear tiene W e b come Tensor e calcola x @ W + b. Un MLP tiene una lista di layer Linear con ReLU tra loro. Entrambi offrono parameters(), una lista dei loro Tensor di pesi.

Perché azzerare i gradienti

La tua passata all'indietro aggiunge a ogni grad. Dentro una passata è giusto, ma tra un passo e l'altro il vecchio gradiente è ancora lì. Dimentica di cancellarlo e ogni passo usa la somma di tutti i gradienti passati: l'addestramento deriva e poi esplode. Quindi ogni passo è: azzera i grad, avanti, indietro, passo.

Parametro: un peso che l'addestramento cambia. zero_grad: riportare a zero il grad di ogni parametro prima della passata all'indietro successiva.

Fai partire i pesi con dispersione sqrt(2 / input), che mantiene i segnali di una dimensione sensata attraverso i layer ReLU. Il Modulo 6 spiega perché.

Parole e simboli di questa lezione
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
zero_grad
azzerare i gradienti prima del passo successivo, perché backward ci somma sopra
Tocca a te

Scrivi Linear, MLP, zero_grad(params) e sgd_step(params, lr) come descritto. MLP([64, 32, 10], rng) crea due layer Linear con una ReLU tra loro e nessuna dopo l'ultimo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.