Lehrplan Lektion 35 von 246 · Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig
Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig

Cross-Entropy ist eine getarnte Likelihood.

Warum das wichtig ist Classifier werden mit einem loss namens cross-entropy trainiert. Es klingt neu, aber es ist die likelihood Idee von vor zwei Lektionen.

Kleine Zahlen

Das

A Modell sagt, dass die Wahrscheinlichkeiten der Ziffern 0, 1 und 2 [0.665, 0.245, 0.090] sind. Die wahre Ziffer ist 0. Wie wahrscheinlich dachte das Modell, dass die Wahrheit vorliegt? 0.665. Unter Maximum Likelihood wollen wir diese Zahl groß; als Verlust wollen wir etwas kleines, also nehmen wir minus ihren Logarithmus: -log(0.665) = 0.408.

Wenn die wahre Ziffer 2 wäre, läge der loss bei -log(0.090) = 2.41: das model gab die wahrheit nur zu 9% an, also wird es hart bestraft. Eine perfekte Vorhersage (probability 1) hat einen loss von 0.

Cross-entropy loss: minus der Logarithmus der Wahrscheinlichkeit, die das Modell für die wahre Antwort gab, gemittelt über Beispiele. Es ist exakt der negative Log-Likelihood.

Eine Eintrag pro Zeile auswählen

Mit einem Batch benötigst du für jede Zeile die Wahrscheinlichkeit in der wahren Spalte dieser Zeile. NumPy macht das mit zwei Index-Arrays der gleichen Länge: probs[rows, cols] wählt probs[rows[0], cols[0]], probs[rows[1], cols[1]] und so weiter. Mit probs = [[0.7, 0.3], [0.2, 0.8]] und Labels [0, 1], probs[np.arange(2), labels] ergibt sich [0.7, 0.8]: Zeile 0 Spalte 0, dann Zeile 1 Spalte 1. Das nennt man fancy indexing.

Ein nützlicher Orientierungspunkt: ein Modell, das gleichmäßig über 10 Klassen rät, gibt jedem 0.1, also ist sein loss -log(0.1) = 2.30. Ein neuer classifier startet in der Nähe davon.

Zusammenfassung Loss = -log(probability given to the truth).

Wörter und Symbole in dieser Lektion
likelihood
wie wahrscheinlich die Daten sind, die du gesehen hast, unter einer Einstellung des Modells
cross-entropy
minus der Logarithmus der Wahrscheinlichkeit für die richtige Antwort
Du bist dran

Schreibe cross_entropy(probs, labels): probs sind (batch, classes) von Wahrscheinlichkeiten, labels hält die wahre Klasse jeder Zeile; gib den Mittelwert von -log(Wahrscheinlichkeit der wahren Klasse) zurück. Keine Schleifen. Setze dann uniform_10_loss auf den Verlust einer gleichmäßigen Vermutung über 10 Klassen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.