Somme, medie, reshape e trasposizioni
Perché è importante Una loss è una somma o una media, e i layer fanno reshape e trasposizioni in continuazione. Ognuna ha bisogno di una regola all'indietro, e ogni regola è di una riga.
- sum (fino a un numero): ogni elemento ha contribuito con pendenza 1, quindi ognuno riceve il gradiente che arriva. Gradiente: uni della forma dell'input, per out.grad.
- mean: una somma per 1/dimensione. Costruiscila da sum e dalla moltiplicazione, così non ha bisogno di una regola sua.
- reshape: i valori vengono solo ridisposti, quindi fai il reshape del gradiente alla forma dell'input.
- transpose: trasponi indietro il gradiente.
Riepilogo Spostare i numeri sposta indietro il gradiente allo stesso modo.
Parole e simboli di questa lezione
- Tensor
- qui: un array più il suo gradiente più i Tensor da cui viene
- .grad
- il gradiente della loss finale rispetto a questo Tensor
- unbroadcast
- sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Scrivi sum, mean, reshape e la proprietà T con le loro regole all'indietro.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.