Scores in Wahrscheinlichkeiten (softmax)
Warum das wichtig ist Ein Ziffer-Klassifikator endet mit 10 Rohwerten, einer pro Ziffer. Um sie als "wie wahrscheinlich ist jede Ziffer" zu lesen, müssen sie positiv sein und sich zu 1 addieren.
Kleine Zahlen
Scores [2, 1, 0]. Mache sie positiv mit exp: etwa [7.39, 2.72, 1.00]. Teile durch die Gesamtsumme, 11.11: [0.665, 0.245, 0.090]. Sie ergeben zusammen 1, behalte die gleiche Reihenfolge und ein höherer Score bedeutet immer eine höhere Wahrscheinlichkeit.
Softmax: exp von jedem Score, geteilt durch die Summe aller exps. Logits: die rohen Scores, die hineingehen.
Eine Falle: das Hinzufügen derselben Zahl zu jedem Score ändert nichts (es hebt sich bei der Division auf). Versuche [1002, 1001, 1000]: gleiche Antwort wie [2, 1, 0] auf dem Papier, aber exp(1002) führt auf einem Computer zu einem Überlauf. Du wirst das im Gate beheben.
Zusammenfassung exp, dann durch die Gesamtsumme teilen.
Wörter und Symbole in dieser Lektion
- softmax
- exp von jedem Score geteilt durch die Gesamtsumme: scores werden zu Wahrscheinlichkeiten
Schreibe softmax(z) für ein 1D array (die einfache Version ist hier okay), und shift_invariant: setze es auf True, wenn das Hinzufügen derselben Zahl zu jedem score die Ausgabe gleich lässt, oder False, wenn es sie ändert.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.