Gradiënten van hele matrices (de vormregel)
Waarom dit ertoe doet Layers werken op hele matrices, dus zijn hun gradiënten ook matrices. Eén regel en één truc leiden bijna elke backward pass van een layer af zonder iets te onthouden.
De vormregel
De verliesfunctie L is één getal. De gradiënt van L ten opzichte van elke array heeft precies de vorm van die array: één helling per invoer. Dus als W (3, 4) is, is dL/dW (3, 4).
Tintal getallen: Y = X @ W
Zeg dat X is (2, 3), W is (3, 4), Y = X @ W is (2, 4), en sommige latere stappen veranderen Y in L. Achterwaarts geeft het je G = dL/dY, vorm (2, 4). Elke invoer Y[i, j] is een som over k van X[i, k] W[k, j]. Verander W[k, j]: het verplaatst elke Y[i, j] in kolom j met X[i, k] keer de verandering. Dus dL/dW[k, j] = som over i van X[i, k] G[i, j]. Dat is één invoer van X.T @ G, wat (3, 4) is: de vorm van W, zoals de regel zegt.
Dezelfde redenering voor X geeft dL/dX = G @ W.T, shape (2, 3). Een snelle manier om beide te onthouden: zet G bij de andere matrix, getransponeerd, in de enige volgorde waarvan de shapes passen.
De Jacobian, en waarom niemand het bouwt
De volledige tabel van hoe elke output-entry beweegt met elke input-entry is de Jacobian. Voor Y = X @ W met W van grootte 1000 bij 1000 en 64 rijen, zou die tabel 64 duizend outputs keer een miljoen gewichten hebben: 64 miljard entries. Backward bouwt het nooit: het heeft alleen ooit G keer de Jacobian nodig, wat het kleine product X.T @ G is. Dat product is de vector-Jacobian product van de vorige les.
Jacobian: de helling van elke output ten opzichte van elke input, als één grote tabel. Vector-Jacobian product: de gradiënt die terug wordt geduwd door één stap, direct berekend zonder de tabel.
Samenvatting Dezelfde vorm als het ding. Voor Y = X @ W: dW = X.T @ G en dX = G @ W.T.
Woorden en symbolen in deze les
- vector
- een lijst met getallen, één per feature
- afgeleide (df/dx)
- hoe snel de output verandert per eenheid duwtje van de input
Schrijf matmul_grads(X, W, G) die (dX, dW) retourneert voor Y = X @ W, en elementwise_grads(A, B, G) die (dA, dB) retourneert voor Y = A * B (dezelfde vormen, item voor item). De verborgen test controleert beide tegen nudging, op vormen die je niet hebt gezien.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.