Programme Leçon 216 sur 250 · Projet : copilote de support client
Projet : copilote de support client

Évalue l'assistant (P@k + exactitude des réponses + porte)

C'est la leçon qui te vaut la seconde moitié de ta ligne de CV : et évalué. N'importe qui peut brancher une démo de RAG. Ce qui distingue un débutant de quelqu'un à qui on confierait un assistant en production, c'est la capacité à le mesurer et à empêcher un mauvais changement de partir en production. Tu vas construire le banc d'évaluation et la porte anti-régression.

Tu évalues sur un jeu de référence : une petite liste étiquetée où chaque cas a une requête, les identifiants des articles pertinents et le texte de réponse attendu. Deux familles de métriques :

  • Qualité de la recherche -- precision_at_k : parmi les k premiers identifiants renvoyés par ton moteur, quelle fraction est pertinente. Ça te dit si le bot regarde seulement les bons articles.
  • Qualité des réponses -- l'exactitude de la réponse produite par rapport au texte attendu, en deux modes : contains (l'extrait attendu apparaît dans la réponse, sans tenir compte de la casse) et exact (correspondance exacte après nettoyage des espaces). contains est le mode indulgent et réaliste pour des réponses en texte libre.

Construis ceci :

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k : la fraction des k premiers identifiants récupérés qui sont dans l'ensemble pertinent ; 0.0 pour une recherche vide. answer_accuracy : 1.0 ou 0.0 pour une prédiction, selon le mode.

evaluate(config) relie le tout. Le dict config contient la liste gold, une fonction retriever (requête -> identifiants classés), une fonction answerer (requête -> texte), et les réglages k et mode. Exécute chaque cas de référence et renvoie un dict avec au moins n (cas notés), precision_at_k (moyenne sur les cas, arrondie à 4 décimales) et answer_accuracy (moyenne, arrondie à 4). Un jeu de référence vide ne doit pas planter -- renvoie des zéros.

regression_gate(old, new) est le garde-fou de CI que tu brancherais sur une pull request : renvoie True seulement si la nouvelle exécution n'a pas empiré sur la métrique surveillée (answer_accuracy par défaut) -- égal ou mieux, c'est bon ; une baisse renvoie False. C'est ce qui, dans la vraie vie, empêche une retouche de prompt de faire chuter la qualité en douce. Appuie sur Run pour noter un bot parfait et un bot cassé, et regarde la porte arrêter la régression.

À ton tour

Construis le banc d'évaluation sur un jeu de référence étiqueté. precision_at_k(retrieved, relevant, k) pour la recherche et answer_accuracy(predicted, expected, mode) (contains / exact) pour les réponses. evaluate(config) exécute le jeu de référence (avec les fonctions retriever et answerer, k, mode) et renvoie un dict de moyennes (n, precision_at_k, answer_accuracy), sans planter sur un jeu vide. regression_gate(old, new) renvoie True seulement si l'exactitude des réponses n'a pas baissé.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.