Évaluations par assertions (exact-match et contains)
Tu as changé le prompt et la sortie "a l'air meilleure". Cette impression n'est pas un résultat. Le rôle d'une évaluation est de la remplacer par un chiffre que tu peux mettre dans une pull request : ce prompt obtient 0.86 sur le jeu de référence, l'ancien obtenait 0.74. Avant de sortir quoi que ce soit de sophistiqué, l'évaluation de base est la moins chère : prends un jeu d'entrées étiquetées dont les bonnes réponses sont connues, lance ton système, et compte combien il en a eu justes.
Le piège, c'est de décider ce que "juste" veut dire. Un LLM ne renvoie presque jamais la chaîne de référence octet pour octet. Il ajoute un point, met une majuscule, enveloppe la réponse dans une phrase. Tu choisis donc un mode de correspondance :
- exact -> la prédiction est égale à la réponse de référence après normalisation (minuscules, espaces autour retirés). Utilise-le pour les réponses courtes et fermées : une étiquette, un oui/non, une ville.
- contains -> la réponse de référence apparaît quelque part dans la prédiction. Utilise-le quand le modèle a le droit d'être bavard : "The capital is Paris." doit quand même compter comme juste pour la référence
paris.
La normalisation compte. Sans elle, "Paris" et "paris" comptent comme un échec et ton évaluation te ment. Voici la forme d'une comparaison :
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)L'exactitude (accuracy) est alors juste la moyenne de ces scores par exemple. Dans un vrai banc, les predictions viennent d'un appel au modèle en direct ; ici tu es noté sur les maths du score, la partie qui doit être parfaitement juste. Deux autres vérifications existent dans tout banc soucieux de sécurité : une liste autorisée (chaque sortie doit faire partie d'un ensemble fixe d'étiquettes) et une recherche de motifs interdits (aucune sortie ne doit contenir une phrase bannie comme "as an AI").
À construire.
evaluate(predictions, gold, mode)-> le score moyen exact ou contains sur deux listes parallèles, arrondi avecroundà 4 décimales. Une liste vide renvoie0.0, jamais de plantage. LèveValueErrorpour un mode inconnu.label_in_set(outputs, allowed)->{"passed", "failed"}qui compte combien de sorties nettoyées sont dans l'ensembleallowed.has_forbidden(text, patterns)->Truesi une regex depatternsest trouvée danstext.
Appuie sur Run pour noter un jeu de référence dans les deux modes.
Écris evaluate(predictions, gold, mode) qui renvoie le score moyen sur deux listes parallèles, où mode vaut 'exact' (égalité après normalisation) ou 'contains' (la référence apparaît dans la prédiction) ; normalise avec strip().lower(), arrondis l'exactitude à 4 décimales avec round, renvoie 0.0 pour un jeu vide, et lève ValueError pour un mode inconnu. Écris aussi label_in_set(outputs, allowed) -> {'passed', 'failed'} qui compte les sorties nettoyées par rapport à l'ensemble allowed, et has_forbidden(text, patterns) -> True si un motif regex est trouvé dans text, sans tenir compte de la casse (donc as an ai attrape aussi "As an AI").
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.