LLM als rechter: rubric + oordeel uitlezen
Exacte overeenkomst en token-F1 schieten tekort zodra antwoorden open worden. "Vat dit ticket samen" heeft duizend goede antwoorden en niet één gouden string. De oplossing van de industrie is LLM als rechter: je vraagt een tweede model het antwoord te lezen tegen een rubric en een oordeel terug te geven. Zo beoordelen teams op grote schaal chatbots, RAG-antwoorden en transcripten van agents.
Hier is de technische werkelijkheid, en waar een recruiter naar vraagt: de rechter is een taalmodel, dus zijn antwoord is rommelige vrije tekst. Het ene moment zegt hij VERDICT: PASS en het volgende Final verdict - fail, soms met eerst een alinea redenering. Het kwetsbare deel van elk rechterharnas is niet de prompt, maar de parser die een schoon, machinebruikbaar resultaat uit die tekst haalt. Daarom is de rechter in deze les nagebootst (geen live model, geen netwerk) en bouw je de twee deterministische onderdelen eromheen: de rubricprompt en de oordeelparser.
Bouw de rubricprompt. build_rubric(criteria) krijgt een lijst criteriumstrings en geeft één promptstring voor de rechter terug. Hij moet:
- het woord
Rubricbevatten, zodat de rechter de taak kent, - elk criterium op een eigen regel zetten, genummerd vanaf 1 (
1. accuracy,2. clarity, ...), - en eindigen door de rechter het precieze uitvoercontract te vertellen: een regel
VERDICT: PASSofVERDICT: FAILen een regelSCORE: <0-10>. (Je definieert het formaat dat je eigen parser zal lezen.)
Bouw de parser. parse_verdict(judge_text) doorzoekt het ruwe antwoord van de rechter en geeft {"verdict": "PASS" or "FAIL", "score": int} terug. Regels voor robuustheid die echte rechteruitvoer je oplegt:
- Maak geen onderscheid tussen hoofd- en kleine letters:
pass,PASSenPassbetekenen allemaal PASS. - Alleen een oordeel met label telt:
VERDICT: PASS,verdict = fail,verdict - pass. Een los "pass" in de redenering is geen beslissing: "VERDICT: FAIL. The fix would make it pass." is een FAIL, en "this does not pass" mag nooit als PASS tellen. Schrijft de rechter meerdere oordelen met label (hij veranderde van mening), dan wint het laatste. - Een score moet een geheel getal van 0 tot 10 zijn, het bereik waar je rubric om vroeg. Negeer alles daarbuiten ("SCORE: 85" is de rechter die het contract breekt, geen geweldig antwoord). Van de geldige scores wint de laatste.
- Geef een veilige standaard terug als er niets geldigs gevonden wordt: oordeel
"FAIL"en score0. Een onleesbaar antwoord van de rechter mag nooit stilletjes als geslaagd tellen.
Vind oordelen met re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) en scores met re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), houd de scores van 0 tot 10 en neem van elk de laatste. We beoordelen alleen de parser en de rubric; de echte aanroep van de rechter is in deze les alleen tekst en draait nooit in de tests. Druk op Run om een paar antwoorden van de rechter uit te lezen.
Bouw het deterministische deel van een LLM-as-judge harness (de judge is gemockt). Schrijf build_rubric(criteria) die een prompt string retourneert die Rubric bevat, elk criterium vanaf 1 op een eigen regel nummert, en het VERDICT: PASS/FAIL + SCORE: <0-10> output contract beschrijft. Schrijf parse_verdict(judge_text) (de score kan worden geschreven als SCORE: 7, score=7 of Score 7) die {"verdict": "PASS"|"FAIL", "score": int} retourneert: niet hoofdlettergevoelig, alleen gelabelde vonnissen tellen (VERDICT: PASS, verdict = fail, verdict - pass) en alleen scores van 0 tot 10, waarbij de LAATSTE van elk wordt genomen, en standaard naar {"verdict": "FAIL", "score": 0} gaat wanneer er geen aanwezig is.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.