Une barrière anti-régression pour les prompts
Tu as des scoreurs (exact match, F1, un juge LLM). La dernière pièce les transforme en barrière : une décision oui/non que ta CI lance à chaque changement de prompt, pour qu'un « petit ajustement » ne puisse jamais empirer les choses en douce. C'est la différence entre mesurer la qualité et la défendre.
(« Régression » veut dire ici un changement en pire, au sens courant du logiciel, pas la technique de modélisation du module ML.)
Tu compares deux passages sur le MÊME jeu d'évaluation : la référence (baseline, le prompt en production) et le candidat (ton changement), sous forme de deux listes de scores par exemple dans [0, 1]. La barrière bloque le changement sauf s'il passe trois seuils :
- Pas de baisse globale : le score moyen du candidat est au moins égal à celui de la référence (une petite tolérance absorbe le bruit).
- Peu de nouveaux échecs : le nombre d'exemples où le candidat fait moins bien que la référence reste dans un budget (une grosse victoire ne doit pas cacher plusieurs régressions discrètes).
- Un plancher : une moyenne minimale absolue, si tu en fixes une.
Construis regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) qui renvoie un dict de rapport avec baseline_mean, candidate_mean, delta (candidat moins référence), regressions (nombre d'indices où candidate[i] < baseline[i] - 1e-9), et passed (un bool, True seulement quand TOUS les seuils sont passés). Les deux listes ont la même longueur. Appuie sur Run pour faire passer un prompt candidat à la barrière.
Écris regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) sur deux listes de même longueur de scores par exemple. Renvoie {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} où delta = candidate_mean - baseline_mean, regressions compte les indices avec candidate[i] < baseline[i] - 1e-9, et passed vaut True seulement quand candidate_mean >= baseline_mean - tol ET regressions <= max_regressions ET (min_mean is None ou candidate_mean >= min_mean).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.