Cross-Entropy ist eine getarnte Likelihood.
Warum das wichtig ist Classifier werden mit einem loss namens cross-entropy trainiert. Es klingt neu, aber es ist die likelihood Idee von vor zwei Lektionen.
Kleine Zahlen
DasA Modell sagt, dass die Wahrscheinlichkeiten der Ziffern 0, 1 und 2 [0.665, 0.245, 0.090] sind. Die wahre Ziffer ist 0. Wie wahrscheinlich dachte das Modell, dass die Wahrheit vorliegt? 0.665. Unter Maximum Likelihood wollen wir diese Zahl groß; als Verlust wollen wir etwas kleines, also nehmen wir minus ihren Logarithmus: -log(0.665) = 0.408.
Wenn die wahre Ziffer 2 wäre, läge der loss bei -log(0.090) = 2.41: das model gab die wahrheit nur zu 9% an, also wird es hart bestraft. Eine perfekte Vorhersage (probability 1) hat einen loss von 0.
Cross-entropy loss: minus der Logarithmus der Wahrscheinlichkeit, die das Modell für die wahre Antwort gab, gemittelt über Beispiele. Es ist exakt der negative Log-Likelihood.
Eine Eintrag pro Zeile auswählen
Mit einem Batch benötigst du für jede Zeile die Wahrscheinlichkeit in der wahren Spalte dieser Zeile. NumPy macht das mit zwei Index-Arrays der gleichen Länge: probs[rows, cols] wählt probs[rows[0], cols[0]], probs[rows[1], cols[1]] und so weiter. Mit probs = [[0.7, 0.3], [0.2, 0.8]] und Labels [0, 1], probs[np.arange(2), labels] ergibt sich [0.7, 0.8]: Zeile 0 Spalte 0, dann Zeile 1 Spalte 1. Das nennt man fancy indexing.
Ein nützlicher Orientierungspunkt: ein Modell, das gleichmäßig über 10 Klassen rät, gibt jedem 0.1, also ist sein loss -log(0.1) = 2.30. Ein neuer classifier startet in der Nähe davon.
Zusammenfassung Loss = -log(probability given to the truth).
Wörter und Symbole in dieser Lektion
- likelihood
- wie wahrscheinlich die Daten sind, die du gesehen hast, unter einer Einstellung des Modells
- cross-entropy
- minus der Logarithmus der Wahrscheinlichkeit für die richtige Antwort
Schreibe cross_entropy(probs, labels): probs sind (batch, classes) von Wahrscheinlichkeiten, labels hält die wahre Klasse jeder Zeile; gib den Mittelwert von -log(Wahrscheinlichkeit der wahren Klasse) zurück. Keine Schleifen. Setze dann uniform_10_loss auf den Verlust einer gleichmäßigen Vermutung über 10 Klassen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.