Lehrplan Lektion 236 von 250 · Projekt: Prompt Evaluation CI
Projekt: Prompt Evaluation CI

Gold-Set + Bewerter

Du hast einen neuen Prompt veröffentlicht und er fühlt sich besser an. Dein Teamleiter stellt die einzige Frage, die zählt: um wie viel besser, und wie weißt du das? „Vibes“ überleben kein Code Review. Die Aufgabe ist es, eine vage Behauptung in eine Zahl zu verwandeln, die du verteidigen kannst. Die Grundlage jedes Prompt-Eval-Frameworks ist ein gold set (eine Liste von Inputs gepaart mit ihren bekannten korrekten Antworten) plus ein scorer (eine Funktion, die sagt, wie nah die Antwort eines Modells an der Gold-Antwort liegt).

Dies ist Lektion 1 eines dreiteiligen Projekts. Am Ende des Moduls wirst du ein echtes prompt-evaluation harness mit einem CI regression gate haben. Das ist die Art von Sache, die ein Personalverantwortlicher in einem Lebenslauf als "prompt-eval harness + regression gate gebaut" sieht und sofort weiß, dass du LLM-Features verantwortungsbewusst ausliefern kannst. Heute baust du das Messinstrument: drei scorer und den runner, der einen über ein ganzes gold set anwendet.

Eine ehrliche Anmerkung zum Umfang: Das Harness und die Regression-Gate-Logik, die du hier aufbaust, sind echt und übertragbar, aber das Judge-Modell ist gemockt und Genauigkeit hier ist Exact-Match. In einem echten Projekt würdest du diese gleichen Teile an ein live Judge-Modell und reichere Scorer anschließen.

Verschiedene Aufgaben benötigen verschiedene Scorer, also baust du drei:

  • score_exact(pred, gold) -> 1.0 wenn die prediction der gold answer nach einer .strip() auf beiden entspricht, sonst 0.0. Dies ist der richtige Aufruf für einen classifier ("positive" vs "negative") wo nur eine exakte Übereinstimmung zählt.
  • score_contains(pred, gold) -> 1.0 wenn der gold string irgendwo innerhalb der prediction erscheint (case-insensitive, beide stripped), sonst 0.0. Gut für „hat die Antwort den wichtigen Fakt erwähnt?“ Prüfungen, wo zusätzliche Wörter okay sind.
  • token_f1(pred, gold) -> ein partial-credit Score in [0.0, 1.0] basierend auf Wortüberlappung, das Arbeitstier für Freitextantworten, wo ein Beinahe-Fehler einen totalen Fehler schlagen sollte.

Wie token F1 funktioniert. Wandle beide Strings in Kleinbuchstaben um und teile sie in Wort-Token auf. Zähle, wie viele Token sie gemeinsam haben und beachte dabei Duplikate (behandle die Token-Listen als Multimengen, also sind collections.Counter und deren & Schnittmenge dein Freund). Dann:

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

Bearbeitetes Beispiel: pred="the quick brown fox", gold="the lazy brown dog". Sie teilen the und brown -> Überlappung 2. Präzision ist 2/4, Recall ist 2/4, also ist F1 0.5. Achte auf die Ränder: wenn eine Seite null Token hat oder die Überlappung null ist, ist F1 0.0 (teile niemals durch Null).

Schließlich der Runner, der einen Scorer in eine Evaluation verwandelt:

  • run_suite(predictions, golds, scorer) -> bewerte jedes (pred, gold) Paar mit der gegebenen scorer Funktion und gib {"score": mean_score, "per_case": [list of each case's score]} zurück. Der Mittelwert über eine leere Suite ist 0.0.

Das Bestehen des Scorer in (anstatt es hart zu codieren) ist das Design, das es ermöglicht, sowohl Exact-Match-Klassifikatoren als auch Freitextantworten zu bewerten. Drücke Run, um ein kleines Gold-Set auf drei verschiedene Arten zu bewerten.

Du bist dran

Baue den Scoring-Kern eines Prompt-Eval-Harness. Schreibe score_exact(pred, gold) (1.0 bei einem bereinigten exakten Match sonst 0.0), score_contains(pred, gold) (1.0 wenn das bereinigte, kleingeschriebene Gold ein Teilstring der Prediction ist sonst 0.0) und token_f1(pred, gold) (Token-Overlap F1 über kleingeschriebene Wort-Token, 0.0 wenn eine Seite leer ist oder kein Overlap vorliegt). Schreibe dann run_suite(predictions, golds, scorer), das {"score": mean, "per_case": [scores]} zurückgibt (mean 0.0 auf einer leeren Suite).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.