Programme Leçon 168 sur 250 · Évaluer et tester les LLM
Évaluer et tester les LLM

Exactitude ou précision/rappel/F1 pour la classification

Une grosse part du travail avec les LLM est en fait de la classification : router ce ticket, étiqueter ce sentiment, marquer ce message comme spam. Pour ça, l'exactitude seule est un piège. Construis un filtre anti-spam sur une boîte mail à 95% de ham, et un modèle qui étiquette tout en ham obtient 95% d'exactitude tout en n'attrapant aucun spam. Le chiffre a l'air super ; le produit est inutile. Pour le voir, il te faut la précision, le rappel et le F1 détaillés pour la classe qui t'intéresse vraiment.

Choisis une classe positive (par exemple spam) et compte quatre cases :

  • TP vrais positifs : prédit spam, c'était du spam.
  • FP faux positifs : prédit spam, c'était du ham (un bon e-mail envoyé aux indésirables).
  • FN faux négatifs : prédit ham, c'était du spam (du spam passé à travers).
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

Ces métriques tirent dans des directions opposées. Signale agressivement et le rappel monte pendant que la précision baisse ; signale prudemment et c'est l'inverse. Le F1 est le chiffre unique qui refuse de laisser l'une des deux s'effondrer. Sur un jeu déséquilibré, l'exactitude et le F1 divergent fortement, et c'est tout l'intérêt de les calculer séparément.

Tu vas les coder à la main car ces formules valent la peine d'être connues par cœur pour les entretiens. Mais tu ne devrais jamais livrer des métriques faites maison quand une bibliothèque testée existe, donc les tests comparent aussi tes chiffres à precision_score, recall_score et f1_score de scikit-learn. Si tu tombes sur les mêmes valeurs que sklearn, ton code est juste.

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

À construire. classification_metrics(y_true, y_pred, positive_label) qui renvoie un dict {"accuracy", "precision", "recall", "f1"}, chaque valeur arrondie à 4 décimales avec round. Gère les cas à dénominateur nul (aucun positif prédit, aucun positif réel) en renvoyant 0.0 pour cette métrique au lieu de diviser par zéro. Appuie sur Run pour afficher un rapport et voir l'exactitude et le F1 se contredire sur un jeu déséquilibré.

À ton tour

Écris classification_metrics(y_true, y_pred, positive_label) qui renvoie {'accuracy', 'precision', 'recall', 'f1'} pour la classe positive choisie, chaque valeur arrondie à 4 décimales avec round. Compte TP/FP/FN par rapport à positive_label ; précision = TP/(TP+FP), rappel = TP/(TP+FN), f1 = la moyenne harmonique, exactitude = justes/total. Renvoie 0.0 pour toute métrique dont le dénominateur est nul. Tes chiffres doivent correspondre à precision_score/recall_score/f1_score de scikit-learn.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.