Programma Les 169 van 250 · LLM Evals & Testen
LLM Evals & Testen

LLM als rechter (rubric bouwen + oordeel uitlezen)

Exacte overeenkomst, F1 en ROUGE hebben allemaal een gouden antwoord nodig om mee te vergelijken. Maar bij open uitvoer, "was deze uitleg duidelijk?", "was de toon professioneel?", is er niet één juiste string. Het schaalbare antwoord waar de industrie op uitkwam, is LLM als rechter: je geeft een tweede model het antwoord plus een rubric en vraagt het elk criterium te scoren. Bij een goed gespecificeerde rubric komt het vaak uit op 80-90% overeenstemming met menselijke beoordelaars, maar dat verschilt sterk per taak en kan flink dalen bij genuanceerde of vijandige gevallen, dus behandel elk los getal als taakgebonden en niet als een wet. Toch is het meestal consistent genoeg om elke nacht op duizenden uitvoeren te draaien, zolang je het af en toe steekproefsgewijs vergelijkt met menselijke labels.

Hier komt het eerlijke deel, en de reden dat deze les te beoordelen is. Het echte scoren door de rechter is een modelaanroep, en modelaanroepen zijn niet deterministisch, dus die beoordelen we nooit. Wat je bouwt, en waarop je beoordeeld wordt, is de deterministische steiger rond de aanroep: de prompt voor de rechter bouwen en het oordeel weer uitlezen. In productie is de middelste stap een echte aanroep:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

De WebLLM op het apparaat in deze cursus kan live in de browser voor rechter spelen, maar de tests hangen er nooit van af. Ze controleren de prompt die je bouwt en de parser die je schrijft.

De prompt moet de rechter vastpinnen: noem de rol, zet de criteria van de rubric genummerd op een rij, laat het antwoord zien en eis een machineleesbaar oordeel, zodat je het kunt uitlezen. De standaardtruc is één regel per criterium in een vaste vorm af te dwingen, hier score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

Uitlezen is dan een regex die elke regel score: N/5 zoekt (zonder onderscheid tussen hoofd- en kleine letters) en de gehele getallen eruit haalt. Aggregeren maakt van een lijst scores een gemiddelde en een slagingspercentage: het aandeel scores op of boven een drempel. Op het slagingspercentage alarmeer je; één slecht antwoord in een batch is ruis, een dalend slagingspercentage is een regressie.

Wat je bouwt.

  • build_judge_prompt(answer, rubric) -> een promptstring met elk genummerd onderdeel van de rubric, het antwoord en een instructie score: N/5.
  • parse_judge_scores(text) -> de lijst gehele getallen uit elke regel score: N/5, in volgorde, zonder onderscheid tussen hoofd- en kleine letters.
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"} (beide met round op 4 decimalen); een lege lijst geeft nullen.

Druk op Run om een rechterprompt te bouwen, een voorbeeldoordeel uit te lezen en te aggregeren.

Jij bent aan de beurt

Schrijf build_judge_prompt(answer, rubric) die een prompt string retourneert die elk genummerd rubric item, de antwoordtekst en een instructie bevat om score: N/5 per item te beantwoorden. Schrijf parse_judge_scores(text) die de lijst van integers van elke score: N/5 regel in volgorde retourneert (niet hoofdlettergevoelig). Schrijf aggregate(scores, threshold=3) die {'mean', 'pass_rate'} afgerond op 4 plaatsen retourneert, waarbij pass_rate de fractie van scores >= threshold is en een lege lijst nullen retourneert.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.