Programme Leçon 238 sur 250 · Projet : Évaluation de Prompt CI
Projet : Évaluation de Prompt CI

La Porte de Régression

C'est le final, et la ligne sur ton CV : built a prompt-eval harness + regression gate.Tu as des scorers (leçon 1) et un judge parser (leçon 2). Maintenant, tu branches la pièce qui rend cela CI : une gate qui s'exécute à chaque changement de prompt et bloque le merge si la qualité a chuté. C'est ce qui empêche le "petit ajustement" d'un coéquipier de faire chuter discrètement l'accuracy en production -> le reviewer automatisé qui ne fatigue jamais.

Le modèle : tu as un ensemble de référence, et deux versions d'un prompt produisant chacune une liste de prédictions sur cet ensemble. L'exactitude ici est simplement la fraction de prédictions qui correspondent exactement à la réponse scellée (stripped). D'abord, compare les deux :

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, où chaque accuracy est le taux de correspondance exacte par rapport à golds et delta est de combien v2 a bougé par rapport à v1. Un delta positif signifie que le candidat s'est amélioré; négatif signifie qu'il a régressé.

Puis la porte elle-même. En CI tu ne bloques pas sur le bruit -> un seuil min_delta laisse un candidat baisser d'un montant minuscule et toléré (souvent 0.0, ce qui signifie "ne doit pas empirer") avant d'être rejeté :

  • gate(baseline, candidate, min_delta) -> baseline et candidate sont chacun une paire (preds, golds). Note les deux comme exact-match accuracy, calcule delta = candidate_acc - baseline_acc, et retourne {"pass": bool, "delta": delta, "report": str}. La porte passes quand delta >= min_delta et fails sinon.

Le report est une ligne unique lisible par un humain qu'un développeur voit dans le log CI. Fais en sorte qu'elle indique le résultat et les nombres, par exemple "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" ou une variante de FAIL: .... Les tests vérifient que le rapport commence par PASS ou FAIL correspondant au booléen et mentionne les deux exactitudes, donc la formulation exacte est la tienne mais les faits doivent y être.

Concrètement : une référence à 0.8 et un candidat à 0.6 avec min_delta=0.0 -> delta -0.2, la porte fails, la fusion est bloquée. Échangez-les et le candidat s'améliore -> la porte passes. Ce seul booléen est ce que vous branchez dans la CI pour transformer "le prompt semble meilleur" en "le prompt n'est pas prouvablement pire, ou la build est rouge." Appuyez sur Run pour bloquer une amélioration et une régression.

À ton tour

Construis la barrière de régression CI. Écris compare(v1_preds, v2_preds, golds) retournant {"v1", "v2", "delta"} où chaque valeur est l'exactitude de correspondance exacte (fraction des prédictions égales à la référence dépouillée) et delta = v2 - v1. Écris gate(baseline, candidate, min_delta) prenant deux paires de (preds, golds) et retournant {"pass": bool, "delta": float, "report": str}, réussissant si delta >= min_delta. Le rapport doit commencer par PASS/FAIL (correspondant au booléen) et mentionner les deux exactitudes, chacune écrite avec trois décimales ("%.3f", donc 0.5 apparaît comme 0.500). Une régression doit échouer à la barrière; une amélioration doit réussir.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.