Programma Lezione 57 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

All'indietro quando le forme si allungano (broadcasting)

Perché è importante È il bug di autograd più comune al mondo. Un bias di forma (4,) aggiunto a un batch di forma (32, 4) viene usato 32 volte, quindi il suo gradiente deve sommare tutti e 32 i contributi.

Numeri piccolissimi

out = X + b con X (3, 2) e b (2,). Il gradiente che arriva è (3, 2). b è stato copiato su tutte e 3 le righe, quindi ogni copia ha ricevuto una parte: il gradiente di b è la somma sulle righe, di forma (2,). Se restituisci l'array (3, 2), le forme non combaciano più, o peggio, il broadcasting lo nasconde e i numeri sono sbagliati di 3 volte.

La regola: dove il broadcasting ha aggiunto una direzione, sommala via; dove ha allungato una direzione di dimensione 1, sommala ma tienila di dimensione 1.

Riepilogo Copiato in avanti significa sommato all'indietro.

Parole e simboli di questa lezione
autograd
gradienti automatici: scrivi tu la passata in avanti, il motore fa quella all'indietro
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
.grad
il gradiente della loss finale rispetto a questo Tensor
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Tocca a te

Scrivi unbroadcast(grad, shape): somma grad fino a shape. La tua somma e la tua moltiplicazione la chiamano già.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.