Rückwärts für Matrixmultiplikation
Warum das wichtig ist Matrix multiply ist das Arbeitstier jeder Schicht. Ihre Backward-Regel umfasst zwei Zeilen, und du kannst sie allein aus den Formen ableiten.
Kleine Zahlen
Nimm out = A @ B mit A der Form (2, 3) und B der Form (3, 4), so ist out (2, 4). Der ankommende Gradient, G, hat die Form von out (2, 4). Der Gradient von A muss die Form von A (2, 3) haben. Der einzige Weg, (2, 3) aus G (2, 4) und B (3, 4) zu machen, ist G @ B.T. Ebenso muss der Gradient von B (3, 4) A.T @ G sein.
Überprüfe einen Eintrag in deinem Kopf: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Ändere A[0, 1] leicht und out[0, 0] bewegt sich um B[1, 0] mal die Änderung. Das ist genau Eintrag (0, 1) von G @ B.T wenn G an (0, 0) den Wert 1 hat und sonst überall 0.
Zusammenfassung dA = G @ B.T, dB = A.T @ G. Wenn du es vergisst, passe die Formen an.
Wörter und Symbole in dieser Lektion
- Tensor
- hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
- .grad
- der Gradient des finalen loss bezüglich dieses Tensors
- unbroadcast
- summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Schreibe __matmul__ mit seinem _backward. Der versteckte Test gradient-checks (A @ B) * C für zufällige Formen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.