Gradienti di matrici intere (la regola delle forme)
Perché è importante I layer lavorano su matrici intere, quindi anche i loro gradienti sono matrici. Una regola e un trucco ricavano la passata all'indietro di quasi ogni layer senza imparare niente a memoria.
La regola delle forme
La loss L è un numero. Il gradiente di L rispetto a qualsiasi array ha esattamente la forma di quell'array: una pendenza per elemento. Quindi se W è (3, 4), dL/dW è (3, 4).
Numeri piccolissimi: Y = X @ W
Diciamo che X è (2, 3), W è (3, 4), Y = X @ W è (2, 4), e alcuni passi successivi trasformano Y in L. La passata all'indietro ti consegna G = dL/dY, di forma (2, 4). Ogni elemento Y[i, j] è una somma su k di X[i, k] W[k, j]. Sposta W[k, j]: muove ogni Y[i, j] della colonna j di X[i, k] per lo spostamento. Quindi dL/dW[k, j] = somma su i di X[i, k] G[i, j]. È un elemento di X.T @ G, che è (3, 4): la forma di W, come dice la regola.
Lo stesso ragionamento per X dà dL/dX = G @ W.T, di forma (2, 3). Un modo rapido per ricordarli entrambi: metti G con l'altra matrice, trasposta, nell'unico ordine in cui le forme combaciano.
Il Jacobiano, e perché nessuno lo costruisce
La tabella completa di come ogni elemento dell'output si muove con ogni elemento dell'input è il Jacobiano. Per Y = X @ W con W di dimensione 1000 per 1000 e 64 righe, quella tabella avrebbe 64 mila output per un milione di pesi: 64 miliardi di elementi. La passata all'indietro non la costruisce mai: le serve solo G per il Jacobiano, che è il piccolo prodotto X.T @ G. Quel prodotto è il prodotto vettore-Jacobiano dell'ultima lezione.
Jacobiano: la pendenza di ogni output rispetto a ogni input, come un'unica grande tabella. Prodotto vettore-Jacobiano: il gradiente spinto indietro attraverso un passo, calcolato direttamente senza la tabella.
Riepilogo Stessa forma della cosa. Per Y = X @ W: dW = X.T @ G e dX = G @ W.T.
Parole e simboli di questa lezione
- vettore
- una lista di numeri, uno per caratteristica
- derivata (df/dx)
- quanto in fretta cambia l'output per ogni unità di spostamento dell'input
Scrivi matmul_grads(X, W, G) che restituisce (dX, dW) per Y = X @ W, ed elementwise_grads(A, B, G) che restituisce (dA, dB) per Y = A * B (stesse forme, elemento per elemento). Il test nascosto li controlla entrambi con gli spostamenti, su forme che non hai visto.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.