All'indietro per la moltiplicazione di matrici
Perché è importante La moltiplicazione di matrici è il cavallo da tiro di ogni layer. La sua regola all'indietro è di due righe, e puoi ricavarla solo dalle forme.
Numeri piccolissimi
Prendi out = A @ B con A di forma (2, 3) e B di forma (3, 4), quindi out è (2, 4). Il gradiente che arriva, G, ha la forma di out (2, 4). Il gradiente di A deve avere la forma di A (2, 3). L'unico modo di ottenere (2, 3) da G (2, 4) e B (3, 4) è G @ B.T. Allo stesso modo il gradiente di B (3, 4) deve essere A.T @ G.
Verifica un elemento a mente: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Sposta A[0, 1] e out[0, 0] si muove di B[1, 0] per lo spostamento. È esattamente l'elemento (0, 1) di G @ B.T quando G vale 1 in (0, 0) e 0 altrove.
Riepilogo dA = G @ B.T, dB = A.T @ G. Se lo dimentichi, fai combaciare le forme.
Parole e simboli di questa lezione
- Tensor
- qui: un array più il suo gradiente più i Tensor da cui viene
- .grad
- il gradiente della loss finale rispetto a questo Tensor
- unbroadcast
- sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Scrivi __matmul__ con il suo _backward. Il test nascosto fa il controllo del gradiente su (A @ B) * C per forme casuali.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.