Een Prompt Regressie Poort
Je hebt scorers (exact match, F1, een LLM judge). Het laatste stuk maakt ze een gate: een ja/nee beslissing waar je CI op elke prompt wijziging draait zodat een "kleine aanpassing" nooit stilletjes dingen slechter kan maken. Dit is het verschil tussen measuring kwaliteit en defending het.
("Regression" betekent hier een verslechtering, de dagelijkse softwarebetekenis, niet de modelleringstechniek uit de ML module.)
Je vergelijkt twee runs over dezelfde eval set: de baseline (de prompt in productie) en de candidate (jouw wijziging), als twee lijsten van scores per voorbeeld in [0, 1]. De gate blokkeert de wijziging tenzij deze drie drempels haalt:
- Geen algemene daling: de gemiddelde score van de kandidaat is minstens het gemiddelde van de basislijn (een kleine tolerantie absorbeert ruis).
- Enkele nieuwe fouten: het aantal voorbeelden waar de kandidaat slechter scoorde dan de basislijn blijft binnen een Budget (één grote win mag niet meerdere stille regressies verbergen).
- A vloer: een absoluut minimum gemiddelde, als je er een instelt.
Bouw regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) die een report dict retourneert met baseline_mean, candidate_mean, delta (candidate minus baseline), regressions (count of indices waar candidate[i] < baseline[i] - 1e-9), en passed (een bool, True alleen wanneer ALLE bars zijn geleegd). De twee lijsten hebben dezelfde lengte. Druk op Run om een candidate prompt te filteren.
Schrijf regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) over twee lijsten van gelijke lengte met scores per voorbeeld. Geef {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} terug waar delta = candidate_mean - baseline_mean, regressions de indexen tellen met candidate[i] < baseline[i] - 1e-9, en passed is alleen True wanneer candidate_mean >= baseline_mean - tol EN regressions <= max_regressions EN (min_mean is None of candidate_mean >= min_mean).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.