LLM-as-Judge: Rubriek + Vonnis Parse
Exact-match en token-F1 breek ineen die oomblik wanneer antwoorde oop uiteindig. "Summarize this ticket" het duisend goeie antwoorde en geen enkele goue string nie. Die bedryf se omweg is LLM-as-judge: jy vra 'n tweede model om die antwoord teen 'n rubric te lees en 'n vonnis terug te gee. Dit is presies hoe spanne chatbots, RAG-antwoorde en agent-transkripsies op skaal gradeer.
Hier is die ingenieurswese-realiteit, en die ding wat 'n werwingsbestuurder ondersoek: die beoordelaar is 'n taalmodel, so sy antwoord is deurmekaar vrye teks.Dit mag VERDICT: PASS op een run sê en Final verdict - fail op die volgende, soms met 'n paragraaf redenering eerste. Die brose deel van enige beoordelaar-harnas is nie die prompt nie, dit is die parser wat 'n skoon, masjien-bruikbare resultaat uit daardie teks trek. So in hierdie les word die beoordelaar mocked (geen lewendige model, geen netwerk) en jy bou die twee deterministiese dele daaromheen: die rubric prompt en die verdict parser.
Bou die rubric prompt. build_rubric(criteria) neem 'n lys van kriteria-strings en gee 'n enkele prompt-string vir die beoordelaar terug. Dit moet:
- bevat die woord
Rubricsodat die beoordelaar die taak ken, - lys elke kriteria op sy eie lyn, genommer vanaf 1 (
1. accuracy,2. clarity, ...), - en eindig deur vir die beoordelaar die presiese uitvoerkontrak te vertel: 'n lyn
VERDICT: PASSofVERDICT: FAILen 'n lynSCORE: <0-10>. (Jy is defining die formaat wat jou eie parser sal lees.)
Bou die parser. parse_verdict(judge_text) skandeer die beoordelaar se rou antwoord en gee {"verdict": "PASS" or "FAIL", "score": int} terug. Robuustheidsreëls wat die werklike beoordelaaruitset op jou afdwing:
- Be case-insensitive:
pass,PASS, enPassbeteken almal PASS. - Net 'n gemerkte (labelled) uitspraak tel:
VERDICT: PASS,verdict = fail,verdict - pass. 'n Kaal "pass" in die redenasie is nie 'n besluit nie: "VERDICT: FAIL. The fix would make it pass." is 'n FAIL, en "this does not pass" mag nooit as PASS tel nie. Wanneer die beoordelaar verskeie gemerkte uitsprake skryf (dit het van plan verander), wen die laaste een. - A-telling moet 'n heel getal van 0 tot 10 wees, die reeks wat jou rubriek gevra het. Ignore enigiets buite dit ("SCORE: 85" is die beoordelaar wat die kontrak breek, nie 'n goeie antwoord nie). Van die geldige tellinge wen die laaste een.
- Gee 'n safe default as niks geldig gevind word nie: verdict
"FAIL"en score0. 'n Onleesbare judge-antwoord mag nooit stil as 'n pass tel nie.
Vind vonnisse met re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) en punte met re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), hou die punte tussen 0 en 10, en neem dan die laaste van elk. Ons gradeer die parser en die rubric net; die live judge call is prosa in hierdie les, dit word nooit in die toetse uitgevoer nie. Druk Run om 'n paar judge antwoorde te parseer.
Bou die deterministiese helfte van 'n LLM-as-regter-harness (die regter is gemok). Skryf build_rubric(criteria) wat 'n prompt-string teruggee wat Rubric bevat, elke kriteria vanaf 1 op sy eie lyn nommer, en die VERDICT: PASS/FAIL + SCORE: <0-10> uitvoeringskontrak aandui. Skryf parse_verdict(judge_text) (die telling kan as SCORE: 7, score=7 of Score 7 geskryf word) wat {"verdict": "PASS"|"FAIL", "score": int} teruggee: niegevoelig vir hoofletters, tel net gelabelde vonnisse (VERDICT: PASS, verdict = fail, verdict - pass) en net tellings van 0 tot 10, neem die LASTE van elk, en gebruik {"verdict": "FAIL", "score": 0} as niks teenwoordig is nie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.