LLM-as-Judge (Rubriek Bou + Vonnis Parse)
Exact-match, F1, en ROUGE het almal 'n goue antwoord nodig om teen te vergelyk. Maar vir oop uitsette, "was hierdie verduideliking duidelik?", "was die toon professioneel?", is daar nie 'n enkele regte string nie. Die skaalbare antwoord waarop die bedryf besluit het is LLM-as-judge: jy gee 'n tweede model die antwoord plus 'n rubric en vra dit om elke kriteria te punteer. Op 'n goed gespesifiseerde rubric land dit dikwels in die 80-90% ooreenstemmingsreeks met menslike beoordelaars, maar dit varieer baie per taak en kan skerp daal by nuanserige of teenstrydige gevalle, so behandel enige enkele getal as taakspesifiek eerder as 'n wet. Selfs dan is dit gewoonlik konsekwent genoeg om naglik op duisende uitsette te hardloop, solank jy dit periodiek teen menslike labels spot-check.
Hier is die eerlike deel, en die rede waarom hierdie les nagesien kan word. Die beoordelaar se werklike telling (scoring) is 'n modeloproep, en modeloproepe is nie-deterministies, so ons sien hulle nooit na nie. Wat jy bou, en waarop jy nagesien word, is die deterministiese steiers om die oproep: die bou van die beoordelaarsprompt en die ontleding van die uitspraak wat terugkom. In produksie is die middelste stap 'n regte oproep:
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)Die on-device WebLLM in hierdie kursus kan die beoordelaar regstreeks in die blutser speel, maar toetse is nooit daarvan afhanklik nie. Hulle kontroleer die prompt wat jy bou en die parser wat jy skryf.
Die aanvraag moet die beoordelaar vaspen: noem die rol, lys die rubriekkriteria genommer op, wys die antwoord, en eis 'n masjien-leesbare vonnis sodat jy dit kan parse. Die standaardtrukie is om een reël per kriteria in 'n vaste vorm af te dwing, hier score: N/5:
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.Parsing is dan 'n regex sweep vir elke score: N/5 lyn (geen onderskeid tussen hoofletters en kleinletters nie), wat die heelgetalle uithaal. Aggregering verander 'n lys van punte in 'n mean en 'n pass-rate: die breuk van punte by of bo 'n drempel. Die pass-rate is waarvoor jy waarsku; 'n enkele slegte antwoord in 'n pakkie is geraas, 'n skuifende pass-rate is 'n regressie.
Wat om te bou.
build_judge_prompt(answer, rubric)-> 'n prompt-string wat elke genommerde rubriekitem, die antwoord, en 'nscore: N/5-direktief bevat.parse_judge_scores(text)-> die lys van heelgetalle van elkescore: N/5lyn, in volgorde, ongeaardig.aggregate(scores, threshold=3)->{"mean", "pass_rate"}(beiderounded tot 4 plekke); 'n leë lys gee nulle terug.
Druk Run om 'n judge prompt te bou, 'n voorbeeldverdict te parseer, en te aggregeer.
Skryf build_judge_prompt(answer, rubric) wat 'n prompt-string teruggee wat elke genommerde rubriekitem, die antwoordteks, en 'n instruksie bevat om score: N/5 per item te antwoord. Skryf parse_judge_scores(text) wat die lys van integers vanaf elke score: N/5 lyn in volgorde teruggee (geen onderskeid tussen hoofletters en kleinletters nie). Skryf aggregate(scores, threshold=3) wat {'mean', 'pass_rate'} afgerond tot 4 plekke teruggee, waar pass_rate die breuk van tellinge >= threshold is en 'n leë lys nulle teruggee.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.