Kurrikulum Leson 170 van 250 · LLM-evaluasies en toetsing
LLM-evaluasies en toetsing

'n Prompt Regressie-hek

Jy het beoordelaars (presiese ooreenstemming, F1, 'n LLM-regter). Die laaste stuk verander hulle in 'n gate: 'n ja/nee-besluit wat jou CI op elke prompt-verandering uitvoer sodat 'n "klein aanpassing" nooit dinge stilletjies kan vererger nie. Dit is die verskil tussen measuring kwaliteit en defending dit.

("Regression" beteken hier 'n verandering vir die slegte, die alledaagse sagteware-sin, nie die modelleringsstegniek uit die ML-module nie.)

Jy vergelyk twee runs oor dieselfde eval set: die baseline (die prompt in produksie) en die candidate (jou verandering), as twee lysse van per-voorbeeld tellinge in [0, 1]. Die gate blokkeer die verandering tensy dit drie drempeldeure klaar:

  • Geen algemene daling: die kandidaat se gemiddelde telling is ten minste die basiese gemiddelde ('n klein toleransie absorbeer geraas).
  • 'n paar nuwe foute: die aantal voorbeelde waar die kandidaat swakker as die baseline presteer bly binne 'n begroting (een groot wen mag nie verskeie stille regresies wegsteek nie).
  • A vloer: 'n absolute minimum gemiddelde, as jy een stel.

Bou regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) wat 'n report dict teruggee met baseline_mean, candidate_mean, delta (kandidaat minus baseline), regressions (telling van indekse waar candidate[i] < baseline[i] - 1e-9), en passed ('n bool, True net wanneer AL die balke skoon is). Die twee lyse is dieselfde lengte. Druk Run om 'n kandidaat prompt te poorteer.

Jou beurt

Skryf regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) oor twee gelyke lysse van per-voorbeeld tellings. Gee {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} terug waar delta = candidate_mean - baseline_mean, regressions tel indekse met candidate[i] < baseline[i] - 1e-9, en passed is waar net wanneer candidate_mean >= baseline_mean - tol EN regressions <= max_regressions EN (min_mean is None of candidate_mean >= min_mean).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.