Programma Lezione 169 di 250 · Valutazioni e test degli LLM
Valutazioni e test degli LLM

LLM giudice (costruire la rubrica + leggere il verdetto)

Corrispondenza esatta, F1 e ROUGE hanno tutti bisogno di una risposta di riferimento con cui confrontarsi. Ma per le uscite aperte, "questa spiegazione era chiara?", "il tono era professionale?", non c'è una sola stringa giusta. La risposta scalabile su cui si è assestato il settore è l'LLM giudice (LLM-as-judge): dai a un secondo modello la risposta più una rubrica e gli chiedi di dare un voto a ogni criterio. Su una rubrica ben specificata spesso arriva a un accordo dell'80-90% con i valutatori umani, ma questo varia molto in base al compito e può crollare sui casi sfumati o avversari, quindi considera qualsiasi singolo numero come legato al compito più che come una legge. Anche così, di solito è abbastanza coerente da girare ogni notte su migliaia di uscite, purché tu lo verifichi periodicamente a campione contro etichette umane.

Ecco la parte onesta, e il motivo per cui questa lezione si può correggere. Il vero voto del giudice è una chiamata a un modello, e le chiamate ai modelli non sono deterministiche, quindi non le valutiamo mai. Ciò che progetti, e su cui vieni valutato, è l'impalcatura deterministica intorno alla chiamata: costruire il prompt del giudice e leggere il verdetto. In produzione il passo di mezzo è una vera chiamata:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

Il WebLLM sul dispositivo di questo corso può fare dal vivo il giudice nel browser, ma i test non dipendono mai da lui. Controllano il prompt che costruisci e il parser che scrivi.

Il prompt deve inchiodare il giudice: dichiarare il ruolo, elencare numerati i criteri della rubrica, mostrare la risposta, e pretendere un verdetto leggibile da una macchina così puoi leggerlo. Il trucco standard è imporre una riga per criterio in una forma fissa, qui score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

Leggere è poi una passata con una regex su ogni riga score: N/5 (senza distinguere maiuscole), estraendo gli interi. L'aggregazione trasforma una lista di voti in una media e in un tasso di promozione: la frazione dei voti pari o superiori a una soglia. Il tasso di promozione è ciò su cui fai scattare gli allarmi; una singola risposta cattiva in un lotto è rumore, un tasso di promozione che scivola è una regressione.

Che cosa costruire.

  • build_judge_prompt(answer, rubric) -> una stringa di prompt che contiene ogni voce numerata della rubrica, la risposta, e un'indicazione score: N/5.
  • parse_judge_scores(text) -> la lista degli interi di ogni riga score: N/5, in ordine, senza distinguere maiuscole.
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"} (entrambi arrotondati con round a 4 cifre); una lista vuota restituisce zeri.

Premi Run per costruire un prompt del giudice, leggere un verdetto di esempio, e aggregare.

Tocca a te

Scrivi build_judge_prompt(answer, rubric) che restituisce una stringa di prompt che contiene ogni voce numerata della rubrica, il testo della risposta, e un'indicazione di rispondere score: N/5 per voce. Scrivi parse_judge_scores(text) che restituisce la lista degli interi di ogni riga score: N/5 in ordine (senza distinguere maiuscole). Scrivi aggregate(scores, threshold=3) che restituisce {'mean', 'pass_rate'} arrotondati a 4 cifre, dove pass_rate è la frazione dei voti >= threshold e una lista vuota restituisce zeri.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.