LLM giudice: rubrica + lettura del verdetto
La corrispondenza esatta e il token-F1 cedono nel momento in cui le risposte diventano aperte. "Riassumi questo ticket" ha mille buone risposte e nessuna singola stringa di riferimento. La soluzione del settore è l'LLM giudice: chiedi a un secondo modello di leggere la risposta rispetto a una rubrica e di restituire un verdetto. È esattamente così che i team valutano chatbot, risposte RAG e trascrizioni di agenti su larga scala.
Ecco la realtà ingegneristica, ed è la cosa su cui un responsabile delle assunzioni scava: il giudice è un modello linguistico, quindi la sua risposta è testo libero disordinato. Potrebbe dire VERDICT: PASS in un'esecuzione e Final verdict - fail in quella dopo, a volte con un paragrafo di ragionamento prima. La parte fragile di qualsiasi banco con giudice non è il prompt, è il parser che estrae un risultato pulito e usabile da una macchina da quel testo. Quindi in questa lezione il giudice è simulato (niente modello dal vivo, niente rete) e costruisci i due pezzi deterministici intorno a lui: il prompt della rubrica e il lettore del verdetto.
Costruisci il prompt della rubrica. build_rubric(criteria) riceve una lista di stringhe di criteri e restituisce una sola stringa di prompt per il giudice. Deve:
- contenere la parola
Rubriccosì il giudice conosce il compito, - elencare ogni criterio su una riga a sé, numerato da 1 (
1. accuracy,2. clarity, ...), - e finire dicendo al giudice il contratto esatto di uscita: una riga
VERDICT: PASSoVERDICT: FAILe una rigaSCORE: <0-10>. (Stai definendo il formato che leggerà il tuo stesso parser.)
Costruisci il parser. parse_verdict(judge_text) esamina la risposta grezza del giudice e restituisce {"verdict": "PASS" or "FAIL", "score": int}. Le regole di robustezza che ti impone l'uscita vera di un giudice:
- Non distinguere le maiuscole:
pass,PASSePasssignificano tutti PASS. - Conta solo un verdetto con etichetta:
VERDICT: PASS,verdict = fail,verdict - pass. Un "pass" nudo nel ragionamento non è una decisione: "VERDICT: FAIL. The fix would make it pass." è un FAIL, e "this does not pass" non deve mai contare come PASS. Quando il giudice scrive più verdetti con etichetta (ha cambiato idea), vince l'ultimo. - Un punteggio deve essere un numero intero da 0 a 10, l'intervallo che ha chiesto la tua rubrica. Ignora tutto ciò che sta fuori ("SCORE: 85" è il giudice che rompe il contratto, non una risposta eccezionale). Tra i punteggi validi, vince l'ultimo.
- Restituisci un default sicuro quando non trovi niente di valido: verdetto
"FAIL"e punteggio0. Una risposta del giudice illeggibile non deve mai contare in silenzio come promossa.
Trova i verdetti con re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) e i punteggi con re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), tieni i punteggi da 0 a 10, poi prendi l'ultimo di ciascuno. Valutiamo solo il parser e la rubrica; in questa lezione la chiamata dal vivo al giudice è solo prosa, mai eseguita nei test. Premi Run per leggere qualche risposta del giudice.
Costruisci la metà deterministica di un banco con LLM giudice (il giudice è simulato). Scrivi build_rubric(criteria) che restituisce una stringa di prompt che contiene Rubric, numera ogni criterio da 1 su una riga a sé, e dichiara il contratto di uscita VERDICT: PASS/FAIL + SCORE: <0-10>. Scrivi parse_verdict(judge_text) (il punteggio può essere scritto SCORE: 7, score=7 o Score 7) che restituisce {"verdict": "PASS"|"FAIL", "score": int}: senza distinguere maiuscole, contando solo i verdetti con etichetta (VERDICT: PASS, verdict = fail, verdict - pass) e solo i punteggi da 0 a 10, prendendo l'ULTIMO di ciascuno, e con default {"verdict": "FAIL", "score": 0} quando non ce n'è nessuno.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.