All'indietro quando le forme si allungano (broadcasting)
Perché è importante È il bug di autograd più comune al mondo. Un bias di forma (4,) aggiunto a un batch di forma (32, 4) viene usato 32 volte, quindi il suo gradiente deve sommare tutti e 32 i contributi.
Numeri piccolissimi
out = X + b con X (3, 2) e b (2,). Il gradiente che arriva è (3, 2). b è stato copiato su tutte e 3 le righe, quindi ogni copia ha ricevuto una parte: il gradiente di b è la somma sulle righe, di forma (2,). Se restituisci l'array (3, 2), le forme non combaciano più, o peggio, il broadcasting lo nasconde e i numeri sono sbagliati di 3 volte.
La regola: dove il broadcasting ha aggiunto una direzione, sommala via; dove ha allungato una direzione di dimensione 1, sommala ma tienila di dimensione 1.
Riepilogo Copiato in avanti significa sommato all'indietro.
Parole e simboli di questa lezione
- autograd
- gradienti automatici: scrivi tu la passata in avanti, il motore fa quella all'indietro
- Tensor
- qui: un array più il suo gradiente più i Tensor da cui viene
- .grad
- il gradiente della loss finale rispetto a questo Tensor
- unbroadcast
- sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Scrivi unbroadcast(grad, shape): somma grad fino a shape. La tua somma e la tua moltiplicazione la chiamano già.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.