Programma Les 56 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

Achterwaarts voor matrixvermenigvuldiging

Waarom dit ertoe doet Matrix multiply is de werkpaard van elke laag. De backward regel is twee regels, en je kunt het afleiden uit alleen de vormen.

Tintalletjes

Neem out = A @ B met A van vorm (2, 3) en B van vorm (3, 4), dus out is (2, 4). De aankomende gradiënt, G, heeft de vorm van out (2, 4). De gradiënt van A moet de vorm van A (2, 3) hebben. De enige manier om (2, 3) te maken van G (2, 4) en B (3, 4) is G @ B.T. Op dezelfde manier moet de gradiënt van B (3, 4) A.T @ G zijn.

Check één invoer in je hoofd: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Verander A[0, 1] een beetje en out[0, 0] beweegt met B[1, 0] keer de verandering. Dat is precies invoer (0, 1) van G @ B.T wanneer G 1 is op (0, 0) en 0 elders.

Samenvatting dA = G @ B.T, dB = A.T @ G. Als je het vergeet, match dan de vormen.

Woorden en symbolen in deze les
Tensor
hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
.grad
de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
unbroadcast
summing een gradient terug naar de vorm waar het van is uitgerekt
Jij bent aan de beurt

Schrijf __matmul__ met zijn _backward. De verborgen test gradient-checks (A @ B) * C voor willekeurige vormen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.