Insieme di riferimento + valutatori
Hai rilasciato un nuovo prompt e sembra migliore. Il tuo responsabile fa l'unica domanda che conta: migliore di quanto, e come lo sai? Le "sensazioni" non sopravvivono a una revisione del codice. Il lavoro è trasformare un'affermazione vaga in un numero che puoi difendere, e la base di ogni banco di valutazione dei prompt è un insieme di riferimento (gold set, una lista di input abbinati alle loro risposte giuste note) più un valutatore (una funzione che dice quanto la risposta di un modello è vicina alla risposta di riferimento).
Questa è la lezione 1 di un progetto in tre parti. Alla fine del modulo avrai un vero banco di valutazione dei prompt con un cancello di CI contro le regressioni -> il genere di cosa che un responsabile delle assunzioni vede in un curriculum come "ho costruito un banco di valutazione dei prompt + un cancello contro le regressioni" e capisce subito che sai rilasciare funzioni LLM in modo responsabile. Oggi costruisci il metro: tre valutatori e l'esecutore che ne applica uno a tutto un insieme di riferimento.
Una nota onesta sull'ambito: la logica del banco e del cancello contro le regressioni che costruisci qui è vera e trasferibile, ma il modello giudice è simulato e l'"accuratezza" qui è una corrispondenza esatta. In un progetto vero collegheresti questi stessi pezzi a un vero modello giudice e a valutatori più ricchi.
Compiti diversi hanno bisogno di valutatori diversi, quindi ne costruisci tre:
score_exact(pred, gold)->1.0se la previsione è uguale alla risposta di riferimento dopo un.strip()su entrambe, altrimenti0.0. È la scelta giusta per un classificatore ("positive" contro "negative") dove conta solo una corrispondenza esatta.score_contains(pred, gold)->1.0se la stringa di riferimento compare da qualche parte dentro la previsione (senza distinguere maiuscole, entrambe ripulite), altrimenti0.0. Buono per i controlli "la risposta ha citato il fatto chiave?" dove le parole in più vanno bene.token_f1(pred, gold)-> un punteggio con credito parziale in[0.0, 1.0]basato sulla sovrapposizione delle parole, lo strumento da lavoro per le risposte in testo libero dove un quasi centro dovrebbe battere un errore totale.
Come funziona il token F1. Metti in minuscolo e dividi entrambe le stringhe in token di parole. Conta quanti token condividono, rispettando i doppioni (tratta le liste di token come multiinsiemi, quindi collections.Counter e la sua intersezione & sono tuoi amici). Poi:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)Esempio svolto: pred="the quick brown fox", gold="the lazy brown dog". Condividono the e brown -> sovrapposizione 2. La precision è 2/4, la recall è 2/4, quindi l'F1 è 0.5. Attenzione ai bordi: se una delle due parti ha zero token, o la sovrapposizione è zero, l'F1 è 0.0 (non dividere mai per zero).
Infine l'esecutore che trasforma un valutatore in una valutazione:
run_suite(predictions, golds, scorer)-> valuta ogni coppia(pred, gold)con la funzionescorerdata e restituisce{"score": mean_score, "per_case": [list of each case's score]}. La media su una batteria vuota è0.0.
Passare il valutatore dentro (invece di scriverlo a mano) è il progetto che permette a un solo banco di valutare sia classificatori a corrispondenza esatta sia risposte in testo libero. Premi Run per valutare un piccolo insieme di riferimento in tre modi diversi.
Costruisci il nucleo di valutazione di un banco di valutazione dei prompt. Scrivi score_exact(pred, gold) (1.0 per una corrispondenza esatta dopo strip altrimenti 0.0), score_contains(pred, gold) (1.0 se il riferimento ripulito e in minuscolo è una sottostringa della previsione altrimenti 0.0), e token_f1(pred, gold) (F1 della sovrapposizione dei token su token di parole in minuscolo, 0.0 quando una delle due parti è vuota o non c'è sovrapposizione). Poi scrivi run_suite(predictions, golds, scorer) che restituisce {"score": mean, "per_case": [scores]} (media 0.0 su una batteria vuota).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.