Valutare i prompt (accuratezza su un insieme di riferimento)
"Il nuovo prompt sembra migliore" non è una risposta. Per saperlo, tieni un insieme di riferimento (gold set): input abbinati alle uscite corrette di cui ti fidi. Esegui il prompt sugli input, confronti ogni previsione con la sua risposta di riferimento, e riporti un numero. Quel numero è il modo in cui confronti il prompt v1 con il v2 senza ingannarti.
Costruirai il valutatore. score_prediction(pred, gold) restituisce 1.0 per una corrispondenza e 0.0 altrimenti, confrontando senza distinguere maiuscole e ignorando gli spazi intorno, perché "Yes", "yes" e " yes " in pratica sono tutti la stessa risposta.
evaluate(predictions, golds) percorre le due liste di pari passo, valuta ogni coppia, e restituisce un riassunto:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}Arrotonda accuracy a 4 cifre. Rendi sicuro l'insieme vuoto: zero riferimenti restituisce {"accuracy": 0.0, "correct": 0, "total": 0} invece di dividere per zero, perché gli insiemi di valutazione vengono filtrati e non vuoi che il banco di prova vada in crash su una fetta vuota.
Uno dei test nascosti esegue il tuo evaluate su 50 insiemi di previsioni/riferimenti generati a caso e lo confronta con un riferimento calcolato nel test. Una tabella dei casi visibili non sopravvivrà, ed è proprio questo il punto: stai costruendo un vero valutatore, non memorizzando risposte. Premi Run per la correzione.
Scrivi score_prediction(pred, gold) che restituisce 1.0 se i due corrispondono ignorando maiuscole e spazi intorno, altrimenti 0.0. Scrivi evaluate(predictions, golds) che restituisce {"accuracy", "correct", "total"} sulle liste abbinate, con l'accuratezza arrotondata a 4 cifre e un insieme vuoto che restituisce tutti zeri (senza crash).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.