Évaluer des prompts (exactitude sur un jeu de référence)
« Le nouveau prompt a l'air meilleur » n'est pas une réponse. Pour savoir, tu gardes un jeu de référence (gold set) : des entrées associées aux bonnes sorties auxquelles tu fais confiance. Tu lances le prompt sur les entrées, tu compares chaque prédiction à sa réponse de référence, et tu donnes un chiffre. C'est avec ce chiffre que tu compares le prompt v1 au v2 sans te mentir.
Tu vas construire le scoreur. score_prediction(pred, gold) renvoie 1.0 en cas de correspondance et 0.0 sinon, en comparant sans tenir compte de la casse ni des espaces autour, car "Yes", "yes" et " yes " sont la même réponse en pratique.
evaluate(predictions, golds) parcourt les deux listes en parallèle, note chaque paire, et renvoie un résumé :
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}Arrondis accuracy à 4 décimales. Rends le jeu vide sûr : zéro référence renvoie {"accuracy": 0.0, "correct": 0, "total": 0} au lieu de diviser par zéro, car les jeux d'évaluation se font filtrer et tu ne veux pas que le banc plante sur une tranche vide.
L'un des tests cachés lance ton evaluate sur 50 jeux prédiction/référence générés au hasard et le compare à une référence calculée dans le test. Une table toute faite des cas visibles n'y survivra pas, et c'est voulu : tu construis un vrai scoreur, tu ne mémorises pas des réponses. Appuie sur Run pour la notation.
Écris score_prediction(pred, gold) qui renvoie 1.0 si les deux correspondent sans tenir compte de la casse ni des espaces autour, sinon 0.0. Écris evaluate(predictions, golds) qui renvoie {"accuracy", "correct", "total"} sur les listes appariées, avec accuracy arrondie à 4 décimales et un jeu vide qui renvoie que des zéros (sans plantage).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.