Sûr à 80 % veut-il dire juste 80 % du temps ?
Pourquoi c'est important La confiance d'un modèle n'est utile que si elle est honnête. Un assistant médical qui dit « sûr à 90 % » et qui a raison la moitié du temps est dangereux.
Un modèle est calibré si, parmi toutes les prédictions qu'il fait avec environ 80 % de confiance, environ 80 % sont justes. Pour vérifier : range les prédictions dans des classes selon leur confiance (0 à 0.1, 0.1 à 0.2, et ainsi de suite) ; dans chaque classe, compare la confiance moyenne avec la justesse réelle. Tracer l'une en fonction de l'autre donne un diagramme de fiabilité ; une calibration parfaite, c'est la diagonale.
L'erreur de calibration attendue (ECE) additionne l'écart de chaque classe, pondéré par le nombre de prédictions qui y sont tombées : sum over bins of (count / total) * |accuracy - confidence|.
De tout petits nombres
Quatre prédictions à une confiance de 0.9, dont 2 sont justes : l'écart de cette classe vaut |0.5 - 0.9| = 0.4. Si ce sont toutes les prédictions, ECE = 0.4.
Mots et symboles de cette leçon
- calibration, ECE
- si la confiance correspond à la justesse ; l'écart moyen pondéré
Écris ece(confidence, correct, bins=10) avec des classes de même largeur de 0 à 1 (une confiance d'exactement 1.0 va dans la classe du haut ; ignore les classes vides).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.