Lehrplan Lektion 238 von 250 · Projekt: Prompt Evaluation CI
Projekt: Prompt Evaluation CI

Das Regressions-Tor

Das ist das Finale und der Satz in deinem Lebenslauf: built a prompt-eval harness + regression gate.Du hast Scorers (Lektion 1) und einen Judge Parser (Lektion 2). Jetzt verkabelst du das Teil, das es CImacht: ein Gate, das bei jeder Prompt-Änderung läuft und den Merge blockiert, wenn die Qualität gesunken ist. Das ist es, was verhindert, dass der kleine Feinschliff eines Teammitglieds die Accuracy in der Produktion leise ruiniert -> der automatisierte Reviewer, der niemals müde wird.

Das Modell: du hast einen Gold-Satz und zwei Versionen eines Prompts, die jeweils eine Liste von Vorhersagen über diesen Satz erzeugen. Accuracy ist hier einfach der Anteil der Vorhersagen, die exakt mit der versiegelten Antwort (stripped) übereinstimmen. Vergleiche zuerst die zwei:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, wobei jede accuracy die exact-match rate gegen golds ist und delta angibt, wie viel v2 relativ zu v1 bewegt wurde. Ein positives delta bedeutet, dass der candidate sich verbessert hat; negativ bedeutet, dass er zurückgegangen ist.

Dann das Gate selbst. In CI blockierst du nicht wegen Rauschen -> eine min_delta Schwelle lässt einen Kandidaten um einen winzigen, tolerierten Betrag abweichen (oft 0.0, was bedeutet "darf nicht schlechter werden") bevor er abgelehnt wird:

  • gate(baseline, candidate, min_delta) -> baseline und candidate sind jeweils ein (preds, golds) Paar. Bewerte beide als exact-match accuracy, berechne delta = candidate_acc - baseline_acc und gib {"pass": bool, "delta": delta, "report": str} zurück. Das Gate passes wenn delta >= min_delta und fails ansonsten.

Der report ist ein für Menschen lesbarer Einzeiler, den ein Entwickler im CI-Log sieht. Lass ihn das Ergebnis und die Zahlen angeben, zum Beispiel "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" oder eine FAIL: ... Variante. Die Tests prüfen, ob der Bericht mit PASS oder FAIL beginnt, was dem booleschen Wert entspricht und beide Genauigkeiten erwähnt. Die genaue Wortwahl liegt bei dir, aber die Fakten müssen enthalten sein.

Konkret: ein Referenzwert bei 0.8 und ein Kandidat bei 0.6 mit min_delta=0.0 -> delta -0.2, Gate fails, der Merge ist blockiert. Tausche sie und der Kandidat verbessert sich -> Gate passes. Dieser einzelne Boolean ist das, was du in die CI einbaust, um aus „der Prompt scheint besser“ zu „der Prompt ist beweisbar nicht schlechter, oder der Build ist rot“ zu machen. Drücke Run, um eine Verbesserung und eine Regression zu prüfen.

Du bist dran

Baue das CI Regression Gate. Schreibe compare(v1_preds, v2_preds, golds), das {"v1", "v2", "delta"} zurückgibt, wobei jeder Wert die exact-match accuracy (Anteil der Vorhersagen, die gleich dem gestrippten Gold sind) und delta = v2 - v1 ist. Schreibe gate(baseline, candidate, min_delta), das zwei (preds, golds) Paare nimmt und {"pass": bool, "delta": float, "report": str} zurückgibt, und übergibt, falls delta >= min_delta. Der Bericht muss mit PASS/FAIL beginnen (passend zum Boolean) und beide Accuracies erwähnen, wobei jede mit drei Dezimalstellen geschrieben wird ("%.3f", sodass 0.5 als 0.500 erscheint). Eine Regression muss das Gate fehlschlagen; eine Verbesserung muss bestehen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.