Programma Les 170 van 250 · LLM Evals & Testen
LLM Evals & Testen

Een Prompt Regressie Poort

Je hebt scorers (exact match, F1, een LLM judge). Het laatste stuk maakt ze een gate: een ja/nee beslissing waar je CI op elke prompt wijziging draait zodat een "kleine aanpassing" nooit stilletjes dingen slechter kan maken. Dit is het verschil tussen measuring kwaliteit en defending het.

("Regression" betekent hier een verslechtering, de dagelijkse softwarebetekenis, niet de modelleringstechniek uit de ML module.)

Je vergelijkt twee runs over dezelfde eval set: de baseline (de prompt in productie) en de candidate (jouw wijziging), als twee lijsten van scores per voorbeeld in [0, 1]. De gate blokkeert de wijziging tenzij deze drie drempels haalt:

  • Geen algemene daling: de gemiddelde score van de kandidaat is minstens het gemiddelde van de basislijn (een kleine tolerantie absorbeert ruis).
  • Enkele nieuwe fouten: het aantal voorbeelden waar de kandidaat slechter scoorde dan de basislijn blijft binnen een Budget (één grote win mag niet meerdere stille regressies verbergen).
  • A vloer: een absoluut minimum gemiddelde, als je er een instelt.

Bouw regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) die een report dict retourneert met baseline_mean, candidate_mean, delta (candidate minus baseline), regressions (count of indices waar candidate[i] < baseline[i] - 1e-9), en passed (een bool, True alleen wanneer ALLE bars zijn geleegd). De twee lijsten hebben dezelfde lengte. Druk op Run om een candidate prompt te filteren.

Jij bent aan de beurt

Schrijf regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) over twee lijsten van gelijke lengte met scores per voorbeeld. Geef {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} terug waar delta = candidate_mean - baseline_mean, regressions de indexen tellen met candidate[i] < baseline[i] - 1e-9, en passed is alleen True wanneer candidate_mean >= baseline_mean - tol EN regressions <= max_regressions EN (min_mean is None of candidate_mean >= min_mean).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.