Programma Lezione 56 di 246 · Modulo 4: Il tuo motore di autograd
Modulo 4: Il tuo motore di autograd

All'indietro per la moltiplicazione di matrici

Perché è importante La moltiplicazione di matrici è il cavallo da tiro di ogni layer. La sua regola all'indietro è di due righe, e puoi ricavarla solo dalle forme.

Numeri piccolissimi

Prendi out = A @ B con A di forma (2, 3) e B di forma (3, 4), quindi out è (2, 4). Il gradiente che arriva, G, ha la forma di out (2, 4). Il gradiente di A deve avere la forma di A (2, 3). L'unico modo di ottenere (2, 3) da G (2, 4) e B (3, 4) è G @ B.T. Allo stesso modo il gradiente di B (3, 4) deve essere A.T @ G.

Verifica un elemento a mente: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Sposta A[0, 1] e out[0, 0] si muove di B[1, 0] per lo spostamento. È esattamente l'elemento (0, 1) di G @ B.T quando G vale 1 in (0, 0) e 0 altrove.

Riepilogo dA = G @ B.T, dB = A.T @ G. Se lo dimentichi, fai combaciare le forme.

Parole e simboli di questa lezione
Tensor
qui: un array più il suo gradiente più i Tensor da cui viene
.grad
il gradiente della loss finale rispetto a questo Tensor
unbroadcast
sommare un gradiente fino a riportarlo alla forma da cui era stato allungato
Tocca a te

Scrivi __matmul__ con il suo _backward. Il test nascosto fa il controllo del gradiente su (A @ B) * C per forme casuali.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.