Programma Lezione 58 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

Somme, medie, reshape e trasposizioni

Perché è importante Una loss è una somma o una media, e i layer fanno reshape e trasposizioni in continuazione. Ognuna ha bisogno di una regola all'indietro, e ogni regola è di una riga.

  • sum (fino a un numero): ogni elemento ha contribuito con pendenza 1, quindi ognuno riceve il gradiente che arriva. Gradiente: uni della forma dell'input, per out.grad.
  • mean: una somma per 1/dimensione. Costruiscila da sum e dalla moltiplicazione, così non ha bisogno di una regola sua.
  • reshape: i valori vengono solo ridisposti, quindi fai il reshape del gradiente alla forma dell'input.
  • transpose: trasponi indietro il gradiente.

Riepilogo Spostare i numeri sposta indietro il gradiente allo stesso modo.

Parole e simboli di questa lezione
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
.grad
il gradiente della loss finale rispetto a questo Tensor
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Tocca a te

Scrivi sum, mean, reshape e la proprietà T con le loro regole all'indietro.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.