Programme Leçon 170 sur 250 · Évaluer et tester les LLM
Évaluer et tester les LLM

Une barrière anti-régression pour les prompts

Tu as des scoreurs (exact match, F1, un juge LLM). La dernière pièce les transforme en barrière : une décision oui/non que ta CI lance à chaque changement de prompt, pour qu'un « petit ajustement » ne puisse jamais empirer les choses en douce. C'est la différence entre mesurer la qualité et la défendre.

(« Régression » veut dire ici un changement en pire, au sens courant du logiciel, pas la technique de modélisation du module ML.)

Tu compares deux passages sur le MÊME jeu d'évaluation : la référence (baseline, le prompt en production) et le candidat (ton changement), sous forme de deux listes de scores par exemple dans [0, 1]. La barrière bloque le changement sauf s'il passe trois seuils :

  • Pas de baisse globale : le score moyen du candidat est au moins égal à celui de la référence (une petite tolérance absorbe le bruit).
  • Peu de nouveaux échecs : le nombre d'exemples où le candidat fait moins bien que la référence reste dans un budget (une grosse victoire ne doit pas cacher plusieurs régressions discrètes).
  • Un plancher : une moyenne minimale absolue, si tu en fixes une.

Construis regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) qui renvoie un dict de rapport avec baseline_mean, candidate_mean, delta (candidat moins référence), regressions (nombre d'indices où candidate[i] < baseline[i] - 1e-9), et passed (un bool, True seulement quand TOUS les seuils sont passés). Les deux listes ont la même longueur. Appuie sur Run pour faire passer un prompt candidat à la barrière.

À ton tour

Écris regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) sur deux listes de même longueur de scores par exemple. Renvoie {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} où delta = candidate_mean - baseline_mean, regressions compte les indices avec candidate[i] < baseline[i] - 1e-9, et passed vaut True seulement quand candidate_mean >= baseline_mean - tol ET regressions <= max_regressions ET (min_mean is None ou candidate_mean >= min_mean).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.