Programme Leçon 92 sur 250 · Tes premiers modèles de machine learning
Tes premiers modèles de machine learning

Au-delà de l'exactitude : précision, rappel et F1

Tu as vu le piège à la leçon précédente : si 95% des e-mails ne sont pas du spam, un modèle qui répond toujours « pas spam » obtient 0.95 d'exactitude sans attraper aucun spam. Sur tout problème déséquilibré, l'exactitude ment. La solution est de regarder quel genre d'erreurs fait le modèle, avec la matrice de confusion.

Pour un classifieur oui/non (étiquette 1 = la classe positive, par ex. « spam »), chaque prédiction tombe dans l'une de quatre cases :

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

Trois nombres sortent de ces comptes, et ce sont eux que les vraies équipes donnent :

  • Précision = TP / (TP + FP). De tout ce que tu as signalé, quelle part était juste ? Faible précision = crier au loup.
  • Rappel = TP / (TP + FN). De tout ce que tu aurais dû attraper, quelle part as-tu eue ? Faible rappel = rater les vrais cas.
  • F1 = 2 * P * R / (P + R), la moyenne harmonique. Un seul nombre qui n'est haut que si la précision ET le rappel sont hauts, donc le modèle paresseux tout-négatif (rappel 0) obtient F1 = 0 et se fait démasquer.

Précision et rappel s'équilibrent l'un l'autre : signale tout et le rappel atteint 1.0 mais la précision s'effondre ; ne signale rien et la précision est indéfinie mais tu n'attrapes rien. Le F1 te garde honnête. Quand un dénominateur est nul (tu n'as prédit aucun positif, ou il n'y en a aucun), donne 0.0 pour cette métrique au lieu de diviser par zéro.

Construis deux fonctions. confusion(y_true, y_pred) renvoie le tuple (tp, fp, fn, tn) sur deux listes de même longueur d'étiquettes 0/1. prf(y_true, y_pred) renvoie {"precision", "recall", "f1"} calculés à partir de ces comptes (0.0 pour tout dénominateur nul). Les tests cachés comparent tes chiffres à scikit-learn, donc les définitions doivent être exactes. Appuie sur Run pour noter un classifieur déséquilibré.

À ton tour

Écris confusion(y_true, y_pred) qui renvoie (tp, fp, fn, tn) pour deux listes de même longueur d'étiquettes 0/1 (1 est la classe positive), et prf(y_true, y_pred) qui renvoie {"precision", "recall", "f1"} où précision = TP/(TP+FP), rappel = TP/(TP+FN), et f1 = 2*P*R/(P+R). Renvoie 0.0 pour toute métrique dont le dénominateur est nul (ne divise jamais par zéro). Tes résultats sont comparés à scikit-learn.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.