LLM-as-Judge (Rubrik-Erstellung + Urteil-Parsing)
Exact-Match, F1 und ROUGE brauchen alle eine Gold-Antwort zum Vergleichen. Aber für offene Ausgaben, "war diese Erklärung klar?", "war der Ton professionell?", gibt es keinen einzigen richtigen String. Die skalierbare Antwort, auf die sich die Branche geeinigt hat, ist LLM-as-judge: Du gibst einem zweiten Modell die Antwort plus eine Bewertungsrubrik und bittest es, jedes Kriterium zu bewerten. Bei einer gut festgelegten Rubrik liegt die Übereinstimmung mit menschlichen Bewertern oft bei 80-90%, aber das schwankt stark je nach Aufgabe und kann bei feinen oder feindseligen Fällen deutlich sinken, also behandle jede einzelne Zahl als aufgabenspezifisch und nicht als Gesetz. Trotzdem ist es meist beständig genug, um jede Nacht auf Tausenden Ausgaben zu laufen, solange du es regelmäßig stichprobenartig mit menschlichen Labels vergleichst.
Hier ist der ehrliche Teil, und der Grund, warum diese Lektion bewertbar ist. Die eigentliche Bewertung des Richters ist ein Modellaufruf, und Modellaufrufe sind nicht deterministisch, also bewerten wir sie nie. Was du konstruierst und worauf du bewertet wirst, ist das deterministische Gerüst um den Aufruf: den Richter-Prompt bauen und das Urteil wieder herausparsen. In Produktion ist der mittlere Schritt ein echter Aufruf:
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)Das WebLLM auf dem Gerät in diesem Kurs kann live im Browser den Richter spielen, aber die Tests hängen nie davon ab. Sie prüfen den Prompt, den du baust, und den Parser, den du schreibst.
Der Prompt muss den Richter festnageln: die Rolle nennen, die Kriterien der Rubrik nummeriert auflisten, die Antwort zeigen und ein maschinenlesbares Urteil verlangen, damit du es parsen kannst. Der übliche Trick ist, eine Zeile pro Kriterium in fester Form zu erzwingen, hier score: N/5:
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.Das Parsen ist dann ein Regex-Durchlauf für jede Zeile score: N/5 (ohne Rücksicht auf Groß- und Kleinschreibung), der die ganzen Zahlen herausholt. Die Zusammenfassung macht aus einer Liste von Punktzahlen einen Mittelwert und eine Bestehensquote: den Anteil der Punktzahlen auf oder über einer Schwelle. Bei der Bestehensquote schlägst du Alarm; eine einzelne schlechte Antwort in einem Batch ist Rauschen, eine sinkende Bestehensquote ist eine Regression.
Was du baust.
build_judge_prompt(answer, rubric)-> ein Prompt-String, der jedes nummerierte Rubrik-Element, die Antwort und eine Anweisungscore: N/5enthält.parse_judge_scores(text)-> die Liste der ganzen Zahlen aus jeder Zeilescore: N/5, der Reihe nach, ohne Rücksicht auf Groß- und Kleinschreibung.aggregate(scores, threshold=3)->{"mean", "pass_rate"}(beide mitroundauf 4 Stellen gerundet); eine leere Liste gibt Nullen zurück.
Drück auf Run, um einen Richter-Prompt zu bauen, ein Beispielurteil zu parsen und zusammenzufassen.
Schreibe build_judge_prompt(answer, rubric), das eine prompt string zurückgibt, die jeden nummerierten Rubrikpunkt, den Antworttext und eine Anweisung enthält, score: N/5 pro Punkt zu antworten. Schreibe parse_judge_scores(text), das die Liste der Integer aus jeder score: N/5 Zeile in der richtigen Reihenfolge zurückgibt (Groß-/Kleinschreibung egal). Schreibe aggregate(scores, threshold=3), das {'mean', 'pass_rate'} auf 4 Stellen gerundet zurückgibt, wobei pass_rate der Anteil der scores >= threshold ist und eine leere Liste Nullen zurückgibt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.