Gradienten ganzer Matrizen (die Formregel)
Warum das wichtig ist Layers arbeiten auf ganzen Matrizen, also sind ihre Gradienten auch Matrizen. Eine Regel und ein Trick leiten fast jeden Backward Pass einer Layer ab, ohne etwas auswendig zu lernen.
Die Formregel
Der Verlust L ist eine Zahl. Der Gradient von L in Bezug auf jedes Array hat exakt die Form dieses Arrays: eine Steigung pro Eintrag. Wenn W also (3, 4) ist, dann ist dL/dW (3, 4).
Kleine Zahlen: Y = X @ W
Sag X ist (2, 3), W ist (3, 4), Y = X @ W ist (2, 4), und einige spätere Schritte machen aus Y ein L. Rückwärts erhältst du G = dL/dY, Form (2, 4). Jeder Eintrag Y[i, j] ist eine Summe über k von X[i, k] W[k, j]. Ändere W[k, j] leicht: es bewegt jedes Y[i, j] in Spalte j um X[i, k] mal die Änderung. Also dL/dW[k, j] = Summe über i von X[i, k] G[i, j]. Das ist ein Eintrag von X.T @ G, welches (3, 4) ist: die Form von W, wie die Regel sagt.
Die gleiche Argumentation für X ergibt dL/dX = G @ W.T, shape (2, 3). Ein schneller Weg um beides zu merken: setze G mit der anderen Matrix, transponiert, in der einzigen Reihenfolge, deren shapes passen.
Der Jacobian und warum niemand ihn baut
Die vollständige Tabelle, wie jeder Ausgabeeintrag mit jedem Eingabeeintrag sich bewegt, ist der Jacobian. Für Y = X @ W mit W der Größe 1000 mal 1000 und 64 Zeilen hätte diese Tabelle 64 Tausend Ausgaben mal eine Million Gewichte: 64 Milliarden Einträge. Backward baut sie nie auf: es benötigt nur jemals G mal den Jacobian, was das kleine Produkt X.T @ G ist. Dieses Produkt ist das Vektor-Jacobian-Produkt aus der letzten Lektion.
Jacobian: die Steigung jedes Outputs in Bezug auf jeden Input, als eine große Tabelle. Vector-Jacobian product: der Gradient, der durch einen Schritt zurückgeschoben wird, berechnet direkt ohne die Tabelle.
Zusammenfassung Gleiche Form wie das Ding. Für Y = X @ W: dW = X.T @ G und dX = G @ W.T.
Wörter und Symbole in dieser Lektion
- vector
- eine Liste von Zahlen, eine pro Merkmal
- derivative (df/dx)
- wie schnell sich der output pro Einheit Nudge des inputs ändert
Schreibe matmul_grads(X, W, G) zurückgebend (dX, dW) für Y = X @ W, und elementwise_grads(A, B, G) zurückgebend (dA, dB) für Y = A * B (gleiche Formen, Element für Element). Der versteckte Test prüft beide gegen Nudging auf Formen, die du noch nicht gesehen hast.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.