Softmax und Cross-Entropy zusammen
Warum das wichtig istJeder Klassifikator in diesem Kurs endet mit softmax plus cross-entropy. Ihr kombinierter Gradient ist eines der nützlichsten Ergebnisse im Deep Learning und er ist kurz.
Kleine Zahlen
Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], wahre Klasse 0 (one-hot [1, 0, 0]). Der Gradient des Verlusts in Bezug auf die Logits ist einfach softmax minus one-hot: [-0.335, 0.245, 0.090]. In Worten: schiebe den Score der wahren Klasse um den Betrag hoch, um den er zu kurz kam, und schiebe jeden anderen Score um den Betrag herunter, den er fälschlicherweise als Wahrscheinlichkeit angenommen hat.
One-hot: ein Vektor aus Nullen mit einer einzigen 1 an der wahren Klasse.
Für einen Batch über Zeilen mitteln: (softmax(Z) - onehot) / n.
Zusammenfassung Gradient = prediction minus truth, noch einmal.
Wörter und Symbole in dieser Lektion
- one-hot
- nullen mit einer einzelnen 1 in der wahren Klasse
- gradient check
- Vergleiche deine Gradientenformel mit einer Nudge-and-Measure-Schätzung
Schreibe loss_and_grad(Z, labels) und gib die mittlere Cross-Entropy und ihren Gradienten in Bezug auf Z (Form (batch, classes)) zurück. Nutze ein stabiles Softmax. Überprüfe es selbst mit deinem Gradient Checker vor dem Absenden.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.