Programme Leçon 107 sur 246 · Module 9 : Est-ce vraiment mieux ?
Module 9 : Est-ce vraiment mieux ?

Sûr à 80 % veut-il dire juste 80 % du temps ?

Pourquoi c'est important La confiance d'un modèle n'est utile que si elle est honnête. Un assistant médical qui dit « sûr à 90 % » et qui a raison la moitié du temps est dangereux.

Un modèle est calibré si, parmi toutes les prédictions qu'il fait avec environ 80 % de confiance, environ 80 % sont justes. Pour vérifier : range les prédictions dans des classes selon leur confiance (0 à 0.1, 0.1 à 0.2, et ainsi de suite) ; dans chaque classe, compare la confiance moyenne avec la justesse réelle. Tracer l'une en fonction de l'autre donne un diagramme de fiabilité ; une calibration parfaite, c'est la diagonale.

L'erreur de calibration attendue (ECE) additionne l'écart de chaque classe, pondéré par le nombre de prédictions qui y sont tombées : sum over bins of (count / total) * |accuracy - confidence|.

De tout petits nombres

Quatre prédictions à une confiance de 0.9, dont 2 sont justes : l'écart de cette classe vaut |0.5 - 0.9| = 0.4. Si ce sont toutes les prédictions, ECE = 0.4.

Mots et symboles de cette leçon
calibration, ECE
si la confiance correspond à la justesse ; l'écart moyen pondéré
À ton tour

Écris ece(confidence, correct, bins=10) avec des classes de même largeur de 0 à 1 (une confiance d'exactement 1.0 va dans la classe du haut ; ignore les classes vides).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.