Lehrplan Lektion 47 von 246 · Modul 3: Neuron zu MLP
Modul 3: Neuron zu MLP

Softmax und Cross-Entropy zusammen

Warum das wichtig istJeder Klassifikator in diesem Kurs endet mit softmax plus cross-entropy. Ihr kombinierter Gradient ist eines der nützlichsten Ergebnisse im Deep Learning und er ist kurz.

Kleine Zahlen

Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], wahre Klasse 0 (one-hot [1, 0, 0]). Der Gradient des Verlusts in Bezug auf die Logits ist einfach softmax minus one-hot: [-0.335, 0.245, 0.090]. In Worten: schiebe den Score der wahren Klasse um den Betrag hoch, um den er zu kurz kam, und schiebe jeden anderen Score um den Betrag herunter, den er fälschlicherweise als Wahrscheinlichkeit angenommen hat.

One-hot: ein Vektor aus Nullen mit einer einzigen 1 an der wahren Klasse.

Für einen Batch über Zeilen mitteln: (softmax(Z) - onehot) / n.

Zusammenfassung Gradient = prediction minus truth, noch einmal.

Wörter und Symbole in dieser Lektion
one-hot
nullen mit einer einzelnen 1 in der wahren Klasse
gradient check
Vergleiche deine Gradientenformel mit einer Nudge-and-Measure-Schätzung
Du bist dran

Schreibe loss_and_grad(Z, labels) und gib die mittlere Cross-Entropy und ihren Gradienten in Bezug auf Z (Form (batch, classes)) zurück. Nutze ein stabiles Softmax. Überprüfe es selbst mit deinem Gradient Checker vor dem Absenden.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.