Cross-entropy is een vermomde waarschijnlijkheid
Waarom dit ertoe doet Classifiers worden getraind met een loss genaamd cross-entropy. Het klinkt nieuw, maar het is het likelihood idee van twee lessen geleden.
Tintalletjes
HetA model zegt dat de kansen van cijfers 0, 1 en 2 zijn [0.665, 0.245, 0.090]. Het ware cijfer is 0. Hoe waarschijnlijk dacht het model dat de waarheid was? 0.665. Onder maximum likelihood willen we dat getal groot; als verlies willen we iets kleins, dus nemen we min de log: -log(0.665) = 0.408.
Als het ware cijfer 2 was, zou de loss -log(0.090) = 2.41 zijn: het model gaf de waarheid slechts 9% vaak, dus het wordt zwaar gestraft. Een perfecte voorspelling (kans 1) heeft loss 0.
Cross-entropy loss: minus de log van de kans die het model gaf aan het ware antwoord, gemiddeld over voorbeelden. Het is precies de negatieve log-likelihood.
Eén invoer per rij selecteren
Met een batch heb je voor elke rij de kans in de ware kolom van die rij nodig. NumPy doet dit met twee index arrays van dezelfde lengte: probs[rows, cols] kiest probs[rows[0], cols[0]], probs[rows[1], cols[1]] enzovoort. Met probs = [[0.7, 0.3], [0.2, 0.8]] en labels [0, 1], probs[np.arange(2), labels] geeft [0.7, 0.8]: rij 0 kolom 0, dan rij 1 kolom 1. Dit wordt fancy indexing genoemd.
Een nuttig herkenningspunt: een model dat uniform gokt over 10 klassen geeft elke klasse 0.1, dus zijn loss is -log(0.1) = 2.30. Een nieuwe classifier begint daar dichtbij.
Samenvatting Loss = -log(probability given to the truth).
Woorden en symbolen in deze les
- likelihood
- hoe waarschijnlijk de data die je zag is onder één instelling van het model
- cross-entropy
- min de log van de kans op het juiste antwoord
Schrijf cross_entropy(probs, labels): probs is (batch, classes) van waarschijnlijkheden, labels bevat de ware klasse van elke rij; retourneer het gemiddelde van -log(waarschijnlijkheid van de ware klasse). Geen loops. Stel daarna uniform_10_loss in op de loss van een uniforme gok over 10 klassen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.