La Porte de Régression
C'est le final, et la ligne sur ton CV : built a prompt-eval harness + regression gate.Tu as des scorers (leçon 1) et un judge parser (leçon 2). Maintenant, tu branches la pièce qui rend cela CI : une gate qui s'exécute à chaque changement de prompt et bloque le merge si la qualité a chuté. C'est ce qui empêche le "petit ajustement" d'un coéquipier de faire chuter discrètement l'accuracy en production -> le reviewer automatisé qui ne fatigue jamais.
Le modèle : tu as un ensemble de référence, et deux versions d'un prompt produisant chacune une liste de prédictions sur cet ensemble. L'exactitude ici est simplement la fraction de prédictions qui correspondent exactement à la réponse scellée (stripped). D'abord, compare les deux :
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, où chaque accuracy est le taux de correspondance exacte par rapport àgoldsetdeltaest de combien v2 a bougé par rapport à v1. Un delta positif signifie que le candidat s'est amélioré; négatif signifie qu'il a régressé.
Puis la porte elle-même. En CI tu ne bloques pas sur le bruit -> un seuil min_delta laisse un candidat baisser d'un montant minuscule et toléré (souvent 0.0, ce qui signifie "ne doit pas empirer") avant d'être rejeté :
gate(baseline, candidate, min_delta)->baselineetcandidatesont chacun une paire(preds, golds). Note les deux comme exact-match accuracy, calculedelta = candidate_acc - baseline_acc, et retourne{"pass": bool, "delta": delta, "report": str}. La porte passes quanddelta >= min_deltaet fails sinon.
Le report est une ligne unique lisible par un humain qu'un développeur voit dans le log CI. Fais en sorte qu'elle indique le résultat et les nombres, par exemple "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" ou une variante de FAIL: .... Les tests vérifient que le rapport commence par PASS ou FAIL correspondant au booléen et mentionne les deux exactitudes, donc la formulation exacte est la tienne mais les faits doivent y être.
Concrètement : une référence à 0.8 et un candidat à 0.6 avec min_delta=0.0 -> delta -0.2, la porte fails, la fusion est bloquée. Échangez-les et le candidat s'améliore -> la porte passes. Ce seul booléen est ce que vous branchez dans la CI pour transformer "le prompt semble meilleur" en "le prompt n'est pas prouvablement pire, ou la build est rouge." Appuyez sur Run pour bloquer une amélioration et une régression.
Construis la barrière de régression CI. Écris compare(v1_preds, v2_preds, golds) retournant {"v1", "v2", "delta"} où chaque valeur est l'exactitude de correspondance exacte (fraction des prédictions égales à la référence dépouillée) et delta = v2 - v1. Écris gate(baseline, candidate, min_delta) prenant deux paires de (preds, golds) et retournant {"pass": bool, "delta": float, "report": str}, réussissant si delta >= min_delta. Le rapport doit commencer par PASS/FAIL (correspondant au booléen) et mentionner les deux exactitudes, chacune écrite avec trois décimales ("%.3f", donc 0.5 apparaît comme 0.500). Une régression doit échouer à la barrière; une amélioration doit réussir.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.