Programma Lezione 166 di 250 · Valutazioni e test degli LLM
Valutazioni e test degli LLM

Valutazioni con asserzioni (corrispondenza esatta e contenimento)

Hai cambiato il prompt e l'uscita "sembra migliore". Quella sensazione non è un risultato. Il compito di una valutazione (eval) è sostituirla con un numero che puoi mettere in una pull request: questo prompt ottiene 0.86 sull'insieme di riferimento, quello vecchio otteneva 0.74. Prima di tirare fuori qualcosa di sofisticato, la valutazione da lavoro è la più economica: prendi un insieme etichettato di input con risposte giuste note, fai girare il tuo sistema, e conta quante ne ha azzeccate.

Il problema è decidere che cosa significa "giusto". Un LLM quasi non restituisce mai la stringa di riferimento byte per byte. Aggiunge un punto, mette una maiuscola, avvolge la risposta in una frase. Quindi scegli una modalità di confronto:

  • exact -> la previsione è uguale alla risposta di riferimento dopo aver normalizzato (minuscolo, spazi intorno tolti). Usala per risposte brevi e chiuse: un'etichetta, un sì/no, una città.
  • contains -> la risposta di riferimento compare da qualche parte dentro la previsione. Usala quando il modello può essere chiacchierone: "The capital is Paris." dovrebbe comunque contare come giusta per il riferimento paris.

Normalizzare conta. Senza, "Paris" e "paris" risultano un errore e la tua valutazione ti mente. Ecco la forma di un confronto:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

L'accuratezza è poi solo la media di quei punteggi per esempio. In un vero banco di prova le predictions vengono da una chiamata dal vivo al modello; qui vieni valutato sulla matematica del punteggio, che è la parte che deve essere esattamente giusta. Altri due controlli vivono in ogni banco di prova attento alla sicurezza: una lista ammessa (ogni uscita deve essere una di un insieme fisso di etichette) e una scansione di schemi vietati (nessuna uscita può contenere una frase bandita come "as an AI").

Che cosa costruire.

  • evaluate(predictions, gold, mode) -> la media del punteggio exact o contains su due liste parallele, arrotondata con round a 4 cifre. Una lista vuota restituisce 0.0, mai un crash. Solleva ValueError per una modalità sconosciuta.
  • label_in_set(outputs, allowed) -> {"passed", "failed"} che conta quante uscite ripulite sono nell'insieme allowed.
  • has_forbidden(text, patterns) -> True se una regex di patterns si trova in text.

Premi Run per valutare un insieme di riferimento con entrambe le modalità.

Tocca a te

Scrivi evaluate(predictions, gold, mode) che restituisce il punteggio medio su due liste parallele, dove mode è 'exact' (uguaglianza dopo la normalizzazione) o 'contains' (il riferimento compare dentro la previsione); normalizza con strip().lower(), arrotonda l'accuratezza con round a 4 cifre, restituisci 0.0 per un insieme vuoto, e solleva ValueError per una modalità sconosciuta. Scrivi anche label_in_set(outputs, allowed) -> {'passed', 'failed'} che conta le uscite ripulite rispetto all'insieme allowed, e has_forbidden(text, patterns) -> True se uno schema regex si trova in text, senza distinguere maiuscole (così as an ai becca anche "As an AI").

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.