Lehrplan Lektion 170 von 250 · LLM-Evals & Testen
LLM-Evals & Testen

Ein Prompt Regression Gate

Du hast Scorer (exact match, F1, einen LLM judge). Das letzte Teil macht sie zu einem gate: eine Ja/Nein Entscheidung, die deine CI bei jeder Prompt Änderung ausführt, damit ein "kleiner Feinschliff" niemals heimlich die Dinge verschlechtern kann. Das ist der Unterschied zwischen measuring Qualität und defending es.

("Regression" bedeutet hier eine Verschlechterung, der alltägliche Softwarebegriff, nicht die Modellierungstechnik aus dem ML-Modul.)

Du vergleichst zwei Durchläufe über dem GLEICHEN eval set: den baseline (der Prompt in Produktion) und den candidate (deine Änderung), als zwei Listen von Scores pro Beispiel in [0, 1]. Das Gate blockiert die Änderung, sofern sie nicht drei Hürden besteht:

  • Kein Gesamtabfall: der Mittelwert des Kandidaten ist mindestens der Mittelwert der baseline (eine winzige Toleranz absorbiert Rauschen).
  • Wenige neue Fehler: die Anzahl der Beispiele, in denen der Kandidat schlechter als der Referenzwert abschnitt, bleibt innerhalb eines Budgets (ein großer Erfolg darf mehrere leise Regressionen nicht verbergen).
  • A Boden: ein absolutes Minimum des Mittelwerts, wenn du eines festlegst.

Baue regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) und gib ein report dict mit baseline_mean, candidate_mean, delta (candidate minus baseline), regressions (Anzahl der Indizes, wo candidate[i] < baseline[i] - 1e-9), und passed (ein bool, True nur wenn ALLE Balken gelöscht sind) zurück. Die zwei Listen haben die gleiche Länge. Drücke Run, um einen candidate prompt zu prüfen.

Du bist dran

Schreibe regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) über zwei Listen gleicher Länge mit Scores pro Beispiel. Gib {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} zurück, wobei delta = candidate_mean - baseline_mean, regressions Indizes mit candidate[i] < baseline[i] - 1e-9 zählen und passed nur True ist, wenn candidate_mean >= baseline_mean - tol UND regressions <= max_regressions UND (min_mean is None oder candidate_mean >= min_mean).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.