Das Regressions-Tor
Das ist das Finale und der Satz in deinem Lebenslauf: built a prompt-eval harness + regression gate.Du hast Scorers (Lektion 1) und einen Judge Parser (Lektion 2). Jetzt verkabelst du das Teil, das es CImacht: ein Gate, das bei jeder Prompt-Änderung läuft und den Merge blockiert, wenn die Qualität gesunken ist. Das ist es, was verhindert, dass der kleine Feinschliff eines Teammitglieds die Accuracy in der Produktion leise ruiniert -> der automatisierte Reviewer, der niemals müde wird.
Das Modell: du hast einen Gold-Satz und zwei Versionen eines Prompts, die jeweils eine Liste von Vorhersagen über diesen Satz erzeugen. Accuracy ist hier einfach der Anteil der Vorhersagen, die exakt mit der versiegelten Antwort (stripped) übereinstimmen. Vergleiche zuerst die zwei:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, wobei jede accuracy die exact-match rate gegengoldsist unddeltaangibt, wie viel v2 relativ zu v1 bewegt wurde. Ein positives delta bedeutet, dass der candidate sich verbessert hat; negativ bedeutet, dass er zurückgegangen ist.
Dann das Gate selbst. In CI blockierst du nicht wegen Rauschen -> eine min_delta Schwelle lässt einen Kandidaten um einen winzigen, tolerierten Betrag abweichen (oft 0.0, was bedeutet "darf nicht schlechter werden") bevor er abgelehnt wird:
gate(baseline, candidate, min_delta)->baselineundcandidatesind jeweils ein(preds, golds)Paar. Bewerte beide als exact-match accuracy, berechnedelta = candidate_acc - baseline_accund gib{"pass": bool, "delta": delta, "report": str}zurück. Das Gate passes wenndelta >= min_deltaund fails ansonsten.
Der report ist ein für Menschen lesbarer Einzeiler, den ein Entwickler im CI-Log sieht. Lass ihn das Ergebnis und die Zahlen angeben, zum Beispiel "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" oder eine FAIL: ... Variante. Die Tests prüfen, ob der Bericht mit PASS oder FAIL beginnt, was dem booleschen Wert entspricht und beide Genauigkeiten erwähnt. Die genaue Wortwahl liegt bei dir, aber die Fakten müssen enthalten sein.
Konkret: ein Referenzwert bei 0.8 und ein Kandidat bei 0.6 mit min_delta=0.0 -> delta -0.2, Gate fails, der Merge ist blockiert. Tausche sie und der Kandidat verbessert sich -> Gate passes. Dieser einzelne Boolean ist das, was du in die CI einbaust, um aus „der Prompt scheint besser“ zu „der Prompt ist beweisbar nicht schlechter, oder der Build ist rot“ zu machen. Drücke Run, um eine Verbesserung und eine Regression zu prüfen.
Baue das CI Regression Gate. Schreibe compare(v1_preds, v2_preds, golds), das {"v1", "v2", "delta"} zurückgibt, wobei jeder Wert die exact-match accuracy (Anteil der Vorhersagen, die gleich dem gestrippten Gold sind) und delta = v2 - v1 ist. Schreibe gate(baseline, candidate, min_delta), das zwei (preds, golds) Paare nimmt und {"pass": bool, "delta": float, "report": str} zurückgibt, und übergibt, falls delta >= min_delta. Der Bericht muss mit PASS/FAIL beginnen (passend zum Boolean) und beide Accuracies erwähnen, wobei jede mit drei Dezimalstellen geschrieben wird ("%.3f", sodass 0.5 als 0.500 erscheint). Eine Regression muss das Gate fehlschlagen; eine Verbesserung muss bestehen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.