Programma Les 35 van 246 · Module 2: Wiskunde en kansberekening, alleen indien nodig
Module 2: Wiskunde en kansberekening, alleen indien nodig

Cross-entropy is een vermomde waarschijnlijkheid

Waarom dit ertoe doet Classifiers worden getraind met een loss genaamd cross-entropy. Het klinkt nieuw, maar het is het likelihood idee van twee lessen geleden.

Tintalletjes

Het

A model zegt dat de kansen van cijfers 0, 1 en 2 zijn [0.665, 0.245, 0.090]. Het ware cijfer is 0. Hoe waarschijnlijk dacht het model dat de waarheid was? 0.665. Onder maximum likelihood willen we dat getal groot; als verlies willen we iets kleins, dus nemen we min de log: -log(0.665) = 0.408.

Als het ware cijfer 2 was, zou de loss -log(0.090) = 2.41 zijn: het model gaf de waarheid slechts 9% vaak, dus het wordt zwaar gestraft. Een perfecte voorspelling (kans 1) heeft loss 0.

Cross-entropy loss: minus de log van de kans die het model gaf aan het ware antwoord, gemiddeld over voorbeelden. Het is precies de negatieve log-likelihood.

Eén invoer per rij selecteren

Met een batch heb je voor elke rij de kans in de ware kolom van die rij nodig. NumPy doet dit met twee index arrays van dezelfde lengte: probs[rows, cols] kiest probs[rows[0], cols[0]], probs[rows[1], cols[1]] enzovoort. Met probs = [[0.7, 0.3], [0.2, 0.8]] en labels [0, 1], probs[np.arange(2), labels] geeft [0.7, 0.8]: rij 0 kolom 0, dan rij 1 kolom 1. Dit wordt fancy indexing genoemd.

Een nuttig herkenningspunt: een model dat uniform gokt over 10 klassen geeft elke klasse 0.1, dus zijn loss is -log(0.1) = 2.30. Een nieuwe classifier begint daar dichtbij.

Samenvatting Loss = -log(probability given to the truth).

Woorden en symbolen in deze les
likelihood
hoe waarschijnlijk de data die je zag is onder één instelling van het model
cross-entropy
min de log van de kans op het juiste antwoord
Jij bent aan de beurt

Schrijf cross_entropy(probs, labels): probs is (batch, classes) van waarschijnlijkheden, labels bevat de ware klasse van elke rij; retourneer het gemiddelde van -log(waarschijnlijkheid van de ware klasse). Geen loops. Stel daarna uniform_10_loss in op de loss van een uniforme gok over 10 klassen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.