L'entropie croisée est la vraisemblance déguisée
Pourquoi c'est important Les classifieurs sont entraînés avec une perte appelée entropie croisée. Ça sonne nouveau, mais c'est l'idée de vraisemblance d'il y a deux leçons.
De tout petits nombres
Un modèle dit que les probabilités des chiffres 0, 1 et 2 sont [0.665, 0.245, 0.090]. Le vrai chiffre est 0. À quel point le modèle jugeait-il la vérité probable ? 0.665. Avec le maximum de vraisemblance, on veut ce nombre grand ; comme perte, on veut quelque chose de petit, donc on prend moins son log : -log(0.665) = 0.408.
Si le vrai chiffre était 2, la perte vaudrait -log(0.090) = 2.41 : le modèle n'a donné que 9 % à la vérité, donc il est durement puni. Une prédiction parfaite (probabilité 1) a une perte de 0.
Perte d'entropie croisée : moins le log de la probabilité que le modèle a donnée à la vraie réponse, en moyenne sur les exemples. C'est exactement la log-vraisemblance négative.
Choisir un élément par ligne
Avec un lot, il te faut, pour chaque ligne, la probabilité dans la vraie colonne de cette ligne. NumPy le fait avec deux tableaux d'index de même longueur : probs[rows, cols] choisit probs[rows[0], cols[0]], probs[rows[1], cols[1]] et ainsi de suite. Avec probs = [[0.7, 0.3], [0.2, 0.8]] et les étiquettes [0, 1], probs[np.arange(2), labels] donne [0.7, 0.8] : ligne 0 colonne 0, puis ligne 1 colonne 1. Ça s'appelle l'indexation avancée.
Un repère utile : un modèle qui devine uniformément sur 10 classes donne 0.1 à chacune, donc sa perte vaut -log(0.1) = 2.30. Un classifieur tout neuf commence près de là.
Récap Perte = -log(probabilité donnée à la vérité).
Mots et symboles de cette leçon
- vraisemblance
- à quel point les données que tu as vues sont probables sous un réglage du modèle
- entropie croisée
- moins le log de la probabilité donnée à la bonne réponse
Écris cross_entropy(probs, labels) : probs est un tableau (lot, classes) de probabilités, labels contient la vraie classe de chaque ligne ; renvoie la moyenne de -log(probabilité de la vraie classe). Pas de boucles. Puis affecte à uniform_10_loss la perte d'une supposition uniforme sur 10 classes.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.