Lehrplan Lektion 237 von 250 · Projekt: Prompt Evaluation CI
Projekt: Prompt Evaluation CI

LLM-as-Judge: Rubrik + Verdict Parse

Exact-Match und Token-F1 versagen, sobald Antworten offen werden. "Fasse dieses Ticket zusammen" hat tausend gute Antworten und keinen einzelnen Gold-String. Der Ausweg der Branche ist LLM-as-judge: Du bittest ein zweites Modell, die Antwort anhand einer Bewertungsrubrik zu lesen und ein Urteil zurückzugeben. Genau so bewerten Teams Chatbots, RAG-Antworten und Agenten-Protokolle in großem Maßstab.

Hier ist die technische Wirklichkeit, und das, wonach eine Personalchefin bohrt: Der Richter ist ein Sprachmodell, also ist seine Antwort unordentlicher Freitext. Er sagt vielleicht VERDICT: PASS in einem Lauf und Final verdict - fail im nächsten, manchmal mit einem Absatz Begründung davor. Der empfindliche Teil jedes Richter-Harness ist nicht der Prompt, sondern der Parser, der ein sauberes, maschinell nutzbares Ergebnis aus diesem Text holt. Deshalb ist der Richter in dieser Lektion simuliert (kein echtes Modell, kein Netzwerk), und du baust die zwei deterministischen Teile drumherum: den Rubrik-Prompt und den Urteilsparser.

Bau den Rubrik-Prompt. build_rubric(criteria) nimmt eine Liste von Kriterien-Strings und gibt einen einzigen Prompt-String für den Richter zurück. Er muss:

  • das Wort Rubric enthalten, damit der Richter die Aufgabe kennt,
  • jedes Kriterium in einer eigenen Zeile auflisten, nummeriert ab 1 (1. accuracy, 2. clarity, ...),
  • und am Ende dem Richter den genauen Ausgabevertrag nennen: eine Zeile VERDICT: PASS oder VERDICT: FAIL und eine Zeile SCORE: <0-10>. (Du legst das Format fest, das dein eigener Parser lesen wird.)

Bau den Parser. parse_verdict(judge_text) durchsucht die rohe Antwort des Richters und gibt {"verdict": "PASS" or "FAIL", "score": int} zurück. Robustheitsregeln, die dir echte Richterausgaben aufzwingen:

  • Ignoriere Groß- und Kleinschreibung: pass, PASS und Pass bedeuten alle PASS.
  • Nur ein beschriftetes Urteil zählt: VERDICT: PASS, verdict = fail, verdict - pass. Ein bloßes "pass" in der Begründung ist keine Entscheidung: "VERDICT: FAIL. The fix would make it pass." ist ein FAIL, und "this does not pass" darf nie als PASS zählen. Schreibt der Richter mehrere beschriftete Urteile (er hat es sich anders überlegt), gewinnt das letzte.
  • Eine Punktzahl muss eine ganze Zahl von 0 bis 10 sein, der Bereich, den deine Rubrik verlangt hat. Ignoriere alles außerhalb ("SCORE: 85" ist ein Vertragsbruch des Richters, keine großartige Antwort). Von den gültigen Punktzahlen gewinnt die letzte.
  • Gib einen sicheren Standardwert zurück, wenn nichts Gültiges gefunden wird: Urteil "FAIL" und Punktzahl 0. Eine nicht lesbare Richterantwort darf nie still als Bestanden zählen.

Finde Urteile mit re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) und Punktzahlen mit re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), behalte die Punktzahlen von 0 bis 10 und nimm dann jeweils die letzte. Wir bewerten nur den Parser und die Rubrik; der echte Richteraufruf ist in dieser Lektion nur Prosa und läuft nie in den Tests. Drück auf Run, um ein paar Richterantworten zu parsen.

Du bist dran

Baue den deterministischen Teil eines LLM-as-judge Harness (der Judge ist gemockt). Schreibe build_rubric(criteria), das eine prompt string zurückgibt, die Rubric enthält, jedes Kriterium ab 1 in einer eigenen Zeile nummeriert und den VERDICT: PASS/FAIL + SCORE: <0-10> output contract angibt. Schreibe parse_verdict(judge_text) (der score kann als SCORE: 7, score=7 oder Score 7 geschrieben werden), das {"verdict": "PASS"|"FAIL", "score": int} zurückgibt: case-insensitive, zählt nur gelabelte verdicts (VERDICT: PASS, verdict = fail, verdict - pass) und nur scores von 0 bis 10, nimmt den LETZTEN von jedem und nutzt {"verdict": "FAIL", "score": 0} als Standardwert, wenn keiner vorhanden ist.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.