Lehrplan Lektion 36 von 246 · Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig
Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig

Der Gradient von softmax und warum der loss ihn verbirgt

Warum das wichtig ist Softmax sitzt innerhalb von attention, wo sein Gradient für sich allein benötigt wird. Kombiniert mit cross-entropy kollabiert es zu etwas sehr Einfachem, und zu wissen warum, ist das, was dir erlaubt, der einfachen Version zu vertrauen.

Der vollständige Gradient

Für p = softmax(z) hängt jeder Output von jedem Score ab. Das Verschieben von zj bewegt pi um pi (1 - pi) mal den Nudge, wenn i = j, und um - pi pj, wenn i nicht j ist: Das Erhöhen eines Scores zieht die Wahrscheinlichkeit von allen anderen weg. Als eine Tabelle (der Jacobian): diag(p) - p pT.

Backward baut diese Tabelle nie. Gegeben g = dL/dp, ist der Gradient in Bezug auf z gleich p * (g - (g · p)), Element für Element: jedes pi Mal, wie sehr sein eigenes g den gewichteten Durchschnitt von g schlägt.

Kleine Zahlen

p = [0.5, 0.3, 0.2] und g = [1, 0, 0]. Dann g · p = 0.5, und dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Die Einträge summieren sich zu 0: das Hinzufügen desselben Betrags zu jedem Score ändert nichts.

Warum Cross-Entropy es einfach macht

Mit L = -log py, g ist -1 / py in der wahren Klasse und 0 sonst wo. Setze das in p * (g - (g · p) ein und es wird zu p - onehot(y): die Formel aus Modul 3. Die einfache Form ist derselbe Gradient, kein Abkürzungszeichen.

Zusammenfassung Softmax backward: p * (g - g · p). Mit Cross-Entropy oben drauf: p - onehot.

Wörter und Symbole in dieser Lektion
softmax
exp von jedem Score geteilt durch die Gesamtsumme: scores werden zu Wahrscheinlichkeiten
cross-entropy
minus der Logarithmus der Wahrscheinlichkeit für die richtige Antwort
Du bist dran

Schreibe softmax_jacobian(z) (ein 1D-Array von Scores rein, die (n, n) Tabelle raus) und softmax_backward(z, g) für 2D-Arrays (eine Zeile pro Beispiel), indem du p * (g - (g · p)) Zeile für Zeile verwendest, ohne die Tabelle aufzubauen. Der versteckte Test prüft beides gegen nudging und prüft, dass mit der g von cross-entropy die Antwort p - onehot ist.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.