De Regressiepoort
Dit is de finale, en de regel op je cv: built a prompt-eval harness + regression gate.Je hebt scorers (les 1) en een judge parser (les 2). Nu verbind je het stuk dat ervoor zorgt dat het CI: een gate die draait bij elke prompt wijziging en de merge blokkeert als de kwaliteit daalt. Dit is wat voorkomt dat de "kleine aanpassing" van een teamgenoot stilletjes de nauwkeurigheid in productie ruïneert -> de geautomatiseerde reviewer die nooit moe wordt.
Het model: je hebt een gold set en twee versies van een prompt die elk een lijst met voorspellingen over die set maken. Accuracy hier is simpelweg de fractie van voorspellingen die exact overeenkomen met het verzegeld antwoord (stripped). Vergelijk eerst de twee:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, waarbij elke accuracy de exact-match rate is tegenovergoldsendeltais hoeveel v2 bewoog ten opzichte van v1. Een positieve delta betekent dat de kandidaat verbeterde; negatief betekent dat het achteruitging.
Dan de poort zelf. In CI blokkeer je niet op ruis -> een min_delta drempel laat een kandidaat een klein, getolereerd bedrag zakken (vaak 0.0, wat betekent "mag niet slechter worden") voordat het wordt afgewezen:
gate(baseline, candidate, min_delta)->baselineencandidatezijn elk een(preds, golds)paar. Score beide als exact-match nauwkeurigheid, berekendelta = candidate_acc - baseline_acc, en retourneer{"pass": bool, "delta": delta, "report": str}. De gate passes wanneerdelta >= min_deltaen fails anders.
De report is een door mensen leesbare eenregelige tekst die een ontwikkelaar ziet in de CI log. Zorg dat het de uitkomst en de getallen vermeldt, bijvoorbeeld "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" of een FAIL: ... variant. De tests controleren of het rapport begint met PASS of FAIL die overeenkomen met de boolean en beide nauwkeurigheden noemen, dus de exacte formulering is van jou maar de feiten moeten erin staan.
Concreet: een basislijn bij 0.8 en een kandidaat bij 0.6 met min_delta=0.0 -> delta -0.2, gate fails, de merge wordt geblokkeerd. Wissel ze om en de kandidaat verbetert -> gate passes. Die ene boolean is wat je in CI aansluit om "de prompt lijkt beter" om te zetten naar "de prompt is bewijsbaar niet slechter, of de build is rood." Druk op Run om een verbetering en een regressie te filteren.
Bouw de CI regressiepoort. Schrijf compare(v1_preds, v2_preds, golds) die {"v1", "v2", "delta"} retourneert waar elke waarde de exact-match nauwkeurigheid (fractie van voorspellingen gelijk aan de gestripte gold) en delta = v2 - v1 is. Schrijf gate(baseline, candidate, min_delta) die twee (preds, golds) paren neemt en {"pass": bool, "delta": float, "report": str} retourneert, slaagt als delta >= min_delta. Het rapport moet beginnen met PASS/FAIL (passend bij de boolean) en beide nauwkeurigheden noemen, elk geschreven met drie decimalen ("%.3f", dus 0.5 verschijnt als 0.500). Een regressie moet de poort falen; een verbetering moet slagen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.