Exactitude ou précision/rappel/F1 pour la classification
Une grosse part du travail avec les LLM est en fait de la classification : router ce ticket, étiqueter ce sentiment, marquer ce message comme spam. Pour ça, l'exactitude seule est un piège. Construis un filtre anti-spam sur une boîte mail à 95% de ham, et un modèle qui étiquette tout en ham obtient 95% d'exactitude tout en n'attrapant aucun spam. Le chiffre a l'air super ; le produit est inutile. Pour le voir, il te faut la précision, le rappel et le F1 détaillés pour la classe qui t'intéresse vraiment.
Choisis une classe positive (par exemple spam) et compte quatre cases :
- TP vrais positifs : prédit spam, c'était du spam.
- FP faux positifs : prédit spam, c'était du ham (un bon e-mail envoyé aux indésirables).
- FN faux négatifs : prédit ham, c'était du spam (du spam passé à travers).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsCes métriques tirent dans des directions opposées. Signale agressivement et le rappel monte pendant que la précision baisse ; signale prudemment et c'est l'inverse. Le F1 est le chiffre unique qui refuse de laisser l'une des deux s'effondrer. Sur un jeu déséquilibré, l'exactitude et le F1 divergent fortement, et c'est tout l'intérêt de les calculer séparément.
Tu vas les coder à la main car ces formules valent la peine d'être connues par cœur pour les entretiens. Mais tu ne devrais jamais livrer des métriques faites maison quand une bibliothèque testée existe, donc les tests comparent aussi tes chiffres à precision_score, recall_score et f1_score de scikit-learn. Si tu tombes sur les mêmes valeurs que sklearn, ton code est juste.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")À construire. classification_metrics(y_true, y_pred, positive_label) qui renvoie un dict {"accuracy", "precision", "recall", "f1"}, chaque valeur arrondie à 4 décimales avec round. Gère les cas à dénominateur nul (aucun positif prédit, aucun positif réel) en renvoyant 0.0 pour cette métrique au lieu de diviser par zéro. Appuie sur Run pour afficher un rapport et voir l'exactitude et le F1 se contredire sur un jeu déséquilibré.
Écris classification_metrics(y_true, y_pred, positive_label) qui renvoie {'accuracy', 'precision', 'recall', 'f1'} pour la classe positive choisie, chaque valeur arrondie à 4 décimales avec round. Compte TP/FP/FN par rapport à positive_label ; précision = TP/(TP+FP), rappel = TP/(TP+FN), f1 = la moyenne harmonique, exactitude = justes/total. Renvoie 0.0 pour toute métrique dont le dénominateur est nul. Tes chiffres doivent correspondre à precision_score/recall_score/f1_score de scikit-learn.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.