Programme Leçon 236 sur 250 · Projet : Évaluation de Prompt CI
Projet : Évaluation de Prompt CI

Ensemble d'or + Scoreurs

Tu as envoyé un nouveau prompt et il semble meilleur. Ton chef d'équipe pose la seule question qui compte : meilleur de combien, et comment le sais-tu ? Les "vibes" ne survivent pas à la revue de code. Le travail est de transformer une affirmation floue en un nombre que tu peux défendre, et la base de chaque harnais d'évaluation de prompt est un gold set (une liste d'entrées associées à leurs réponses scellées) plus un scorer (une fonction qui dit à quel point la réponse d'un modèle est proche de la réponse scellée).

Ceci est la leçon 1 d'un projet en trois parties. À la fin du module, tu auras un véritable harness d'évaluation de prompt avec une barrière de régression CI -> le genre de chose qu'un responsable du recrutement voit sur un CV comme "construit un harness d'évaluation de prompt + barrière de régression" et sait immédiatement que tu peux livrer des fonctionnalités LLM de manière responsable. Aujourd'hui, tu construis l'instrument de mesure : trois scorers et le runner qui en applique un sur un ensemble gold complet.

Une note honnête sur la portée : le harness et la logique de regression-gate que tu construis ici sont réels et transférables, mais le judge model est mocké et l'accuracy ici est une correspondance exacte. Sur un projet réel, tu brancherais ces mêmes pièces à un judge model en direct et à des scorers plus riches.

Différentes tâches ont besoin de différents scorers, donc tu en construis trois :

  • score_exact(pred, gold) -> 1.0 si la prédiction est égale à la réponse scellée après un .strip() sur les deux, sinon 0.0. C'est l'appel correct pour un classifieur ("positif" vs "négatif") où seule une correspondance exacte compte.
  • score_contains(pred, gold) -> 1.0 si la chaîne d'or apparaît n'importe où dans la prédiction (insensible à la casse, les deux supprimés), sinon 0.0. Utile pour les vérifications de type "est-ce que la réponse a mentionné le fait clé ?" où les mots supplémentaires sont acceptables.
  • token_f1(pred, gold) -> un score partial-credit en [0.0, 1.0] basé sur le chevauchement de mots, le moteur principal pour les réponses en texte libre où une erreur proche doit battre une absence totale.

Comment fonctionne le token F1. Mets en minuscules et sépare les deux chaînes en tokens de mots. Compte combien de tokens ils partagent, en respectant les doublons (traite les listes de tokens comme des mult ensembles, donc collections.Counter et son & intersection sont tes amis). Ensuite :

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

Exemple concret : pred="the quick brown fox", gold="the lazy brown dog". Ils partagent the et brown -> chevauchement 2. La précision est 2/4, le rappel est 2/4, donc F1 est 0.5. Attention aux bords : si un côté a zéro tokens, ou si le chevauchement est zéro, F1 est 0.0 (ne jamais diviser par zéro).

Enfin le runner qui transforme un scorer en une évaluation :

  • run_suite(predictions, golds, scorer) -> score chaque paire (pred, gold) avec la fonction scorer donnée et retourne {"score": mean_score, "per_case": [list of each case's score]}. La moyenne sur une suite vide est 0.0.

Passer le scorer in (au lieu de le coder en dur) est la conception qui permet d'évaluer à la fois les classifieurs à correspondance exacte et les réponses en texte libre. Appuie sur Run pour noter un petit ensemble d'or de trois manières différentes.

À ton tour

Construis le cœur du score d'un harnais d'évaluation de prompt. Écris score_exact(pred, gold) (1.0 sur une correspondance exacte dépouillée sinon 0.0), score_contains(pred, gold) (1.0 si le gold dépouillé et en minuscules est une sous-chaîne de la prédiction sinon 0.0), et token_f1(pred, gold) (F1 de chevauchement de token sur les tokens de mots en minuscules, 0.0 quand un côté est vide ou s'il n'y a pas de chevauchement). Écris ensuite run_suite(predictions, golds, scorer) retournant {"score": mean, "per_case": [scores]} (moyenne 0.0 sur une suite vide).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.