Programma Les 237 van 250 · Project: CI voor promptevaluatie
Project: CI voor promptevaluatie

LLM als rechter: rubric + oordeel uitlezen

Exacte overeenkomst en token-F1 schieten tekort zodra antwoorden open worden. "Vat dit ticket samen" heeft duizend goede antwoorden en niet één gouden string. De oplossing van de industrie is LLM als rechter: je vraagt een tweede model het antwoord te lezen tegen een rubric en een oordeel terug te geven. Zo beoordelen teams op grote schaal chatbots, RAG-antwoorden en transcripten van agents.

Hier is de technische werkelijkheid, en waar een recruiter naar vraagt: de rechter is een taalmodel, dus zijn antwoord is rommelige vrije tekst. Het ene moment zegt hij VERDICT: PASS en het volgende Final verdict - fail, soms met eerst een alinea redenering. Het kwetsbare deel van elk rechterharnas is niet de prompt, maar de parser die een schoon, machinebruikbaar resultaat uit die tekst haalt. Daarom is de rechter in deze les nagebootst (geen live model, geen netwerk) en bouw je de twee deterministische onderdelen eromheen: de rubricprompt en de oordeelparser.

Bouw de rubricprompt. build_rubric(criteria) krijgt een lijst criteriumstrings en geeft één promptstring voor de rechter terug. Hij moet:

  • het woord Rubric bevatten, zodat de rechter de taak kent,
  • elk criterium op een eigen regel zetten, genummerd vanaf 1 (1. accuracy, 2. clarity, ...),
  • en eindigen door de rechter het precieze uitvoercontract te vertellen: een regel VERDICT: PASS of VERDICT: FAIL en een regel SCORE: <0-10>. (Je definieert het formaat dat je eigen parser zal lezen.)

Bouw de parser. parse_verdict(judge_text) doorzoekt het ruwe antwoord van de rechter en geeft {"verdict": "PASS" or "FAIL", "score": int} terug. Regels voor robuustheid die echte rechteruitvoer je oplegt:

  • Maak geen onderscheid tussen hoofd- en kleine letters: pass, PASS en Pass betekenen allemaal PASS.
  • Alleen een oordeel met label telt: VERDICT: PASS, verdict = fail, verdict - pass. Een los "pass" in de redenering is geen beslissing: "VERDICT: FAIL. The fix would make it pass." is een FAIL, en "this does not pass" mag nooit als PASS tellen. Schrijft de rechter meerdere oordelen met label (hij veranderde van mening), dan wint het laatste.
  • Een score moet een geheel getal van 0 tot 10 zijn, het bereik waar je rubric om vroeg. Negeer alles daarbuiten ("SCORE: 85" is de rechter die het contract breekt, geen geweldig antwoord). Van de geldige scores wint de laatste.
  • Geef een veilige standaard terug als er niets geldigs gevonden wordt: oordeel "FAIL" en score 0. Een onleesbaar antwoord van de rechter mag nooit stilletjes als geslaagd tellen.

Vind oordelen met re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) en scores met re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), houd de scores van 0 tot 10 en neem van elk de laatste. We beoordelen alleen de parser en de rubric; de echte aanroep van de rechter is in deze les alleen tekst en draait nooit in de tests. Druk op Run om een paar antwoorden van de rechter uit te lezen.

Jij bent aan de beurt

Bouw het deterministische deel van een LLM-as-judge harness (de judge is gemockt). Schrijf build_rubric(criteria) die een prompt string retourneert die Rubric bevat, elk criterium vanaf 1 op een eigen regel nummert, en het VERDICT: PASS/FAIL + SCORE: <0-10> output contract beschrijft. Schrijf parse_verdict(judge_text) (de score kan worden geschreven als SCORE: 7, score=7 of Score 7) die {"verdict": "PASS"|"FAIL", "score": int} retourneert: niet hoofdlettergevoelig, alleen gelabelde vonnissen tellen (VERDICT: PASS, verdict = fail, verdict - pass) en alleen scores van 0 tot 10, waarbij de LAATSTE van elk wordt genomen, en standaard naar {"verdict": "FAIL", "score": 0} gaat wanneer er geen aanwezig is.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.