Programma Lezione 222 di 250 · Progetto: servizio di intelligenza sui documenti
Progetto: servizio di intelligenza sui documenti

Valutazione a lotti su documenti etichettati

Sai leggere, validare e riconciliare un singolo documento. La domanda che fa davvero un responsabile delle assunzioni è: quanto è buono su migliaia? Rispondi come fa ogni team serio di ML e di dati -> con una valutazione (eval). Prendi un lotto di documenti che hai etichettato a mano (l'insieme di riferimento), fai girare il tuo estrattore su di loro, e misuri quanto spesso ogni campo è uscito giusto. Senza valutazione, niente credibilità.

Scrivi evaluate(predictions, gold). Sono entrambe liste di dict della stessa lunghezza, allineate per posizione -> predictions[i] è l'uscita del tuo estrattore per il documento la cui risposta vera è gold[i]. Confrontali campo per campo e restituisci un riassunto:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

Le regole:

  • L'insieme dei campi da valutare è l'unione di tutte le chiavi viste nei record di riferimento. (Un campo che manca in una previsione conta come sbagliato per quel campo.)
  • Un campo è giusto quando il valore previsto è uguale al valore di riferimento. Usa .get(field) sulla previsione così una chiave mancante si confronta come None invece di mandare tutto in crash.
  • accuracy è il totale dei campi giusti diviso il totale dei campi confrontati (documenti per campi), arrotondato a 4 cifre.
  • Sicuro con l'insieme vuoto: se gold è vuota, restituisci {"accuracy": 0.0, "per_field": {}, "n": 0} -> non dividere mai per zero.

pandas rende ordinata la contabilità se vuoi -> costruisci un DataFrame di risultati per campo e somma le colonne -> ma un paio di semplici cicli sui dict vanno altrettanto bene. Qui non serve nessun seme; il lotto è fisso, quindi la tua accuratezza è un numero che il correttore può controllare esattamente.

Questo chiude il cerchio del tuo servizio di intelligenza sui documenti: estrai -> ripara -> valida -> riconcilia -> misura. "Ho costruito una pipeline di estrazione validata da uno schema con riconciliazione e un banco di valutazione a livello di campo" è una frase che ti fa avere un secondo colloquio. Premi Run per valutare un piccolo lotto etichettato.

Tocca a te

Scrivi evaluate(predictions, gold) su due liste di dict di record allineate per posizione. Valuta ogni campo nell'unione delle chiavi dei record di riferimento; un campo è giusto quando prediction.get(field) == gold[field] (una chiave mancante si confronta come None). Restituisci {"accuracy", "per_field", "n"} dove accuracy è il totale dei giusti sul totale dei campi confrontati (arrotondato a 4 decimali), per_field[field] è {"correct", "total"}, e n è il numero di documenti. Se gold è vuota, restituisci {"accuracy": 0.0, "per_field": {}, "n": 0} (niente divisione per zero).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.