Programma Lezione 237 di 250 · Progetto: CI per la valutazione dei prompt
Progetto: CI per la valutazione dei prompt

LLM giudice: rubrica + lettura del verdetto

La corrispondenza esatta e il token-F1 cedono nel momento in cui le risposte diventano aperte. "Riassumi questo ticket" ha mille buone risposte e nessuna singola stringa di riferimento. La soluzione del settore è l'LLM giudice: chiedi a un secondo modello di leggere la risposta rispetto a una rubrica e di restituire un verdetto. È esattamente così che i team valutano chatbot, risposte RAG e trascrizioni di agenti su larga scala.

Ecco la realtà ingegneristica, ed è la cosa su cui un responsabile delle assunzioni scava: il giudice è un modello linguistico, quindi la sua risposta è testo libero disordinato. Potrebbe dire VERDICT: PASS in un'esecuzione e Final verdict - fail in quella dopo, a volte con un paragrafo di ragionamento prima. La parte fragile di qualsiasi banco con giudice non è il prompt, è il parser che estrae un risultato pulito e usabile da una macchina da quel testo. Quindi in questa lezione il giudice è simulato (niente modello dal vivo, niente rete) e costruisci i due pezzi deterministici intorno a lui: il prompt della rubrica e il lettore del verdetto.

Costruisci il prompt della rubrica. build_rubric(criteria) riceve una lista di stringhe di criteri e restituisce una sola stringa di prompt per il giudice. Deve:

  • contenere la parola Rubric così il giudice conosce il compito,
  • elencare ogni criterio su una riga a sé, numerato da 1 (1. accuracy, 2. clarity, ...),
  • e finire dicendo al giudice il contratto esatto di uscita: una riga VERDICT: PASS o VERDICT: FAIL e una riga SCORE: <0-10>. (Stai definendo il formato che leggerà il tuo stesso parser.)

Costruisci il parser. parse_verdict(judge_text) esamina la risposta grezza del giudice e restituisce {"verdict": "PASS" or "FAIL", "score": int}. Le regole di robustezza che ti impone l'uscita vera di un giudice:

  • Non distinguere le maiuscole: pass, PASS e Pass significano tutti PASS.
  • Conta solo un verdetto con etichetta: VERDICT: PASS, verdict = fail, verdict - pass. Un "pass" nudo nel ragionamento non è una decisione: "VERDICT: FAIL. The fix would make it pass." è un FAIL, e "this does not pass" non deve mai contare come PASS. Quando il giudice scrive più verdetti con etichetta (ha cambiato idea), vince l'ultimo.
  • Un punteggio deve essere un numero intero da 0 a 10, l'intervallo che ha chiesto la tua rubrica. Ignora tutto ciò che sta fuori ("SCORE: 85" è il giudice che rompe il contratto, non una risposta eccezionale). Tra i punteggi validi, vince l'ultimo.
  • Restituisci un default sicuro quando non trovi niente di valido: verdetto "FAIL" e punteggio 0. Una risposta del giudice illeggibile non deve mai contare in silenzio come promossa.

Trova i verdetti con re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) e i punteggi con re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), tieni i punteggi da 0 a 10, poi prendi l'ultimo di ciascuno. Valutiamo solo il parser e la rubrica; in questa lezione la chiamata dal vivo al giudice è solo prosa, mai eseguita nei test. Premi Run per leggere qualche risposta del giudice.

Tocca a te

Costruisci la metà deterministica di un banco con LLM giudice (il giudice è simulato). Scrivi build_rubric(criteria) che restituisce una stringa di prompt che contiene Rubric, numera ogni criterio da 1 su una riga a sé, e dichiara il contratto di uscita VERDICT: PASS/FAIL + SCORE: <0-10>. Scrivi parse_verdict(judge_text) (il punteggio può essere scritto SCORE: 7, score=7 o Score 7) che restituisce {"verdict": "PASS"|"FAIL", "score": int}: senza distinguere maiuscole, contando solo i verdetti con etichetta (VERDICT: PASS, verdict = fail, verdict - pass) e solo i punteggi da 0 a 10, prendendo l'ULTIMO di ciascuno, e con default {"verdict": "FAIL", "score": 0} quando non ce n'è nessuno.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.