Valutazioni con asserzioni (corrispondenza esatta e contenimento)
Hai cambiato il prompt e l'uscita "sembra migliore". Quella sensazione non è un risultato. Il compito di una valutazione (eval) è sostituirla con un numero che puoi mettere in una pull request: questo prompt ottiene 0.86 sull'insieme di riferimento, quello vecchio otteneva 0.74. Prima di tirare fuori qualcosa di sofisticato, la valutazione da lavoro è la più economica: prendi un insieme etichettato di input con risposte giuste note, fai girare il tuo sistema, e conta quante ne ha azzeccate.
Il problema è decidere che cosa significa "giusto". Un LLM quasi non restituisce mai la stringa di riferimento byte per byte. Aggiunge un punto, mette una maiuscola, avvolge la risposta in una frase. Quindi scegli una modalità di confronto:
- exact -> la previsione è uguale alla risposta di riferimento dopo aver normalizzato (minuscolo, spazi intorno tolti). Usala per risposte brevi e chiuse: un'etichetta, un sì/no, una città.
- contains -> la risposta di riferimento compare da qualche parte dentro la previsione. Usala quando il modello può essere chiacchierone: "The capital is Paris." dovrebbe comunque contare come giusta per il riferimento
paris.
Normalizzare conta. Senza, "Paris" e "paris" risultano un errore e la tua valutazione ti mente. Ecco la forma di un confronto:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)L'accuratezza è poi solo la media di quei punteggi per esempio. In un vero banco di prova le predictions vengono da una chiamata dal vivo al modello; qui vieni valutato sulla matematica del punteggio, che è la parte che deve essere esattamente giusta. Altri due controlli vivono in ogni banco di prova attento alla sicurezza: una lista ammessa (ogni uscita deve essere una di un insieme fisso di etichette) e una scansione di schemi vietati (nessuna uscita può contenere una frase bandita come "as an AI").
Che cosa costruire.
evaluate(predictions, gold, mode)-> la media del punteggio exact o contains su due liste parallele, arrotondata conrounda 4 cifre. Una lista vuota restituisce0.0, mai un crash. SollevaValueErrorper una modalità sconosciuta.label_in_set(outputs, allowed)->{"passed", "failed"}che conta quante uscite ripulite sono nell'insiemeallowed.has_forbidden(text, patterns)->Truese una regex dipatternssi trova intext.
Premi Run per valutare un insieme di riferimento con entrambe le modalità.
Scrivi evaluate(predictions, gold, mode) che restituisce il punteggio medio su due liste parallele, dove mode è 'exact' (uguaglianza dopo la normalizzazione) o 'contains' (il riferimento compare dentro la previsione); normalizza con strip().lower(), arrotonda l'accuratezza con round a 4 cifre, restituisci 0.0 per un insieme vuoto, e solleva ValueError per una modalità sconosciuta. Scrivi anche label_in_set(outputs, allowed) -> {'passed', 'failed'} che conta le uscite ripulite rispetto all'insieme allowed, e has_forbidden(text, patterns) -> True se uno schema regex si trova in text, senza distinguere maiuscole (così as an ai becca anche "As an AI").
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.