Valutazione a lotti su documenti etichettati
Sai leggere, validare e riconciliare un singolo documento. La domanda che fa davvero un responsabile delle assunzioni è: quanto è buono su migliaia? Rispondi come fa ogni team serio di ML e di dati -> con una valutazione (eval). Prendi un lotto di documenti che hai etichettato a mano (l'insieme di riferimento), fai girare il tuo estrattore su di loro, e misuri quanto spesso ogni campo è uscito giusto. Senza valutazione, niente credibilità.
Scrivi evaluate(predictions, gold). Sono entrambe liste di dict della stessa lunghezza, allineate per posizione -> predictions[i] è l'uscita del tuo estrattore per il documento la cui risposta vera è gold[i]. Confrontali campo per campo e restituisci un riassunto:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}Le regole:
- L'insieme dei campi da valutare è l'unione di tutte le chiavi viste nei record di riferimento. (Un campo che manca in una previsione conta come sbagliato per quel campo.)
- Un campo è giusto quando il valore previsto è uguale al valore di riferimento. Usa
.get(field)sulla previsione così una chiave mancante si confronta comeNoneinvece di mandare tutto in crash. accuracyè il totale dei campi giusti diviso il totale dei campi confrontati (documenti per campi), arrotondato a 4 cifre.- Sicuro con l'insieme vuoto: se
goldè vuota, restituisci{"accuracy": 0.0, "per_field": {}, "n": 0}-> non dividere mai per zero.
pandas rende ordinata la contabilità se vuoi -> costruisci un DataFrame di risultati per campo e somma le colonne -> ma un paio di semplici cicli sui dict vanno altrettanto bene. Qui non serve nessun seme; il lotto è fisso, quindi la tua accuratezza è un numero che il correttore può controllare esattamente.
Questo chiude il cerchio del tuo servizio di intelligenza sui documenti: estrai -> ripara -> valida -> riconcilia -> misura. "Ho costruito una pipeline di estrazione validata da uno schema con riconciliazione e un banco di valutazione a livello di campo" è una frase che ti fa avere un secondo colloquio. Premi Run per valutare un piccolo lotto etichettato.
Scrivi evaluate(predictions, gold) su due liste di dict di record allineate per posizione. Valuta ogni campo nell'unione delle chiavi dei record di riferimento; un campo è giusto quando prediction.get(field) == gold[field] (una chiave mancante si confronta come None). Restituisci {"accuracy", "per_field", "n"} dove accuracy è il totale dei giusti sul totale dei campi confrontati (arrotondato a 4 decimali), per_field[field] è {"correct", "total"}, e n è il numero di documenti. Se gold è vuota, restituisci {"accuracy": 0.0, "per_field": {}, "n": 0} (niente divisione per zero).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.