Layer che tengono i propri pesi
Perché è importante Le reti vere hanno molti layer. Ogni layer dovrebbe possedere i propri pesi e saperli elencare, così il codice di addestramento non deve mai sapere che cosa c'è dentro.
Un layer Linear tiene W e b come Tensor e calcola x @ W + b. Un MLP tiene una lista di layer Linear con ReLU tra loro. Entrambi offrono parameters(), una lista dei loro Tensor di pesi.
Perché azzerare i gradienti
La tua passata all'indietro aggiunge a ogni grad. Dentro una passata è giusto, ma tra un passo e l'altro il vecchio gradiente è ancora lì. Dimentica di cancellarlo e ogni passo usa la somma di tutti i gradienti passati: l'addestramento deriva e poi esplode. Quindi ogni passo è: azzera i grad, avanti, indietro, passo.
Parametro: un peso che l'addestramento cambia. zero_grad: riportare a zero il grad di ogni parametro prima della passata all'indietro successiva.
Fai partire i pesi con dispersione sqrt(2 / input), che mantiene i segnali di una dimensione sensata attraverso i layer ReLU. Il Modulo 6 spiega perché.
Parole e simboli di questa lezione
- Tensor
- qui: un array più il suo gradiente più i Tensor da cui viene
- unbroadcast
- sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
- zero_grad
- azzerare i gradienti prima del passo successivo, perché backward ci somma sopra
Scrivi Linear, MLP, zero_grad(params) e sgd_step(params, lr) come descritto. MLP([64, 32, 10], rng) crea due layer Linear con una ReLU tra loro e nessuna dopo l'ultimo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.