Achterwaarts voor matrixvermenigvuldiging
Waarom dit ertoe doet Matrix multiply is de werkpaard van elke laag. De backward regel is twee regels, en je kunt het afleiden uit alleen de vormen.
Tintalletjes
Neem out = A @ B met A van vorm (2, 3) en B van vorm (3, 4), dus out is (2, 4). De aankomende gradiënt, G, heeft de vorm van out (2, 4). De gradiënt van A moet de vorm van A (2, 3) hebben. De enige manier om (2, 3) te maken van G (2, 4) en B (3, 4) is G @ B.T. Op dezelfde manier moet de gradiënt van B (3, 4) A.T @ G zijn.
Check één invoer in je hoofd: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Verander A[0, 1] een beetje en out[0, 0] beweegt met B[1, 0] keer de verandering. Dat is precies invoer (0, 1) van G @ B.T wanneer G 1 is op (0, 0) en 0 elders.
Samenvatting dA = G @ B.T, dB = A.T @ G. Als je het vergeet, match dan de vormen.
Woorden en symbolen in deze les
- Tensor
- hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
- .grad
- de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
- unbroadcast
- summing een gradient terug naar de vorm waar het van is uitgerekt
Schrijf __matmul__ met zijn _backward. De verborgen test gradient-checks (A @ B) * C voor willekeurige vormen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.