Programma Les 238 van 250 · Project: CI voor promptevaluatie
Project: CI voor promptevaluatie

De Regressiepoort

Dit is de finale, en de regel op je cv: built a prompt-eval harness + regression gate.Je hebt scorers (les 1) en een judge parser (les 2). Nu verbind je het stuk dat ervoor zorgt dat het CI: een gate die draait bij elke prompt wijziging en de merge blokkeert als de kwaliteit daalt. Dit is wat voorkomt dat de "kleine aanpassing" van een teamgenoot stilletjes de nauwkeurigheid in productie ruïneert -> de geautomatiseerde reviewer die nooit moe wordt.

Het model: je hebt een gold set en twee versies van een prompt die elk een lijst met voorspellingen over die set maken. Accuracy hier is simpelweg de fractie van voorspellingen die exact overeenkomen met het verzegeld antwoord (stripped). Vergelijk eerst de twee:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, waarbij elke accuracy de exact-match rate is tegenover golds en delta is hoeveel v2 bewoog ten opzichte van v1. Een positieve delta betekent dat de kandidaat verbeterde; negatief betekent dat het achteruitging.

Dan de poort zelf. In CI blokkeer je niet op ruis -> een min_delta drempel laat een kandidaat een klein, getolereerd bedrag zakken (vaak 0.0, wat betekent "mag niet slechter worden") voordat het wordt afgewezen:

  • gate(baseline, candidate, min_delta) -> baseline en candidate zijn elk een (preds, golds) paar. Score beide als exact-match nauwkeurigheid, bereken delta = candidate_acc - baseline_acc, en retourneer {"pass": bool, "delta": delta, "report": str}. De gate passes wanneer delta >= min_delta en fails anders.

De report is een door mensen leesbare eenregelige tekst die een ontwikkelaar ziet in de CI log. Zorg dat het de uitkomst en de getallen vermeldt, bijvoorbeeld "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" of een FAIL: ... variant. De tests controleren of het rapport begint met PASS of FAIL die overeenkomen met de boolean en beide nauwkeurigheden noemen, dus de exacte formulering is van jou maar de feiten moeten erin staan.

Concreet: een basislijn bij 0.8 en een kandidaat bij 0.6 met min_delta=0.0 -> delta -0.2, gate fails, de merge wordt geblokkeerd. Wissel ze om en de kandidaat verbetert -> gate passes. Die ene boolean is wat je in CI aansluit om "de prompt lijkt beter" om te zetten naar "de prompt is bewijsbaar niet slechter, of de build is rood." Druk op Run om een verbetering en een regressie te filteren.

Jij bent aan de beurt

Bouw de CI regressiepoort. Schrijf compare(v1_preds, v2_preds, golds) die {"v1", "v2", "delta"} retourneert waar elke waarde de exact-match nauwkeurigheid (fractie van voorspellingen gelijk aan de gestripte gold) en delta = v2 - v1 is. Schrijf gate(baseline, candidate, min_delta) die twee (preds, golds) paren neemt en {"pass": bool, "delta": float, "report": str} retourneert, slaagt als delta >= min_delta. Het rapport moet beginnen met PASS/FAIL (passend bij de boolean) en beide nauwkeurigheden noemen, elk geschreven met drie decimalen ("%.3f", dus 0.5 verschijnt als 0.500). Een regressie moet de poort falen; een verbetering moet slagen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.