Kurrikulum Leson 222 van 250 · Projek: Document Intelligence Service
Projek: Document Intelligence Service

Batch-evalasie oor gelabelde dokumente

Jy kan 'n enkele dokument parse, valideer en versoen. Die vraag wat 'n werwingsbestuurder werklik vra is: hoe goed is dit oor duisende dokumente heen? Jy beantwoord dit op die manier wat elke ernstige ML en data-span doen -> met 'n eval. Jy neem 'n pakkie dokumente wat jy self gelabel het (die gold-stel), hardloop jou extractor oor hulle, en meet hoe gereeld elke veld korrek uitkom. Geen eval nie, geen geloofwaardigheid nie.

Skryf evaluate(predictions, gold). Albei is lysse van dicts van dieselfde lengte, belyn volgens posisie -> predictions[i] is jou extractor se uitset vir die dokument waarvan die ware antwoord gold[i] is. Vergelyk hulle veld vir veld en gee 'n opsomming terug:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

Die reëls:

  • Die stel van velde om te tel is die unie van elke sleutel wat in die gold records gesien word. ( 'n Veld wat in 'n voorspelling ontbreek, tel as verkeerd vir daardie veld.)
  • 'n
  • -veld is correct wanneer die voorspelde waarde gelyk is aan die gold-waarde. Gebruik .get(field) op die voorspelling sodat 'n ontbrekende sleutel as None vergelyk in plaas van om te kras.
  • accuracy is die totale korrekte velde gedeel deur die totale vergelyke velde (dokumente maal velde), afgerond tot 4 plekke.
  • Leë-stel veilig: as gold leeg is, gee {"accuracy": 0.0, "per_field": {}, "n": 0} terug -> deel nooit deur nul nie.

pandas maak die boekhouding netjies as jy dit wil -> bou 'n DataFrame van per-veld treffers en som kolomme -> maar 'n paar gewone dict loops is net so goed. Seed niks hier nie; die batch is vas, so jou akkuraatheid is 'n getal wat die grader presies kan nagaan.

Dit sluit die lus op jou Document Intelligence Service: extract -> repair -> validate -> reconcile -> measure. "Ek het 'n schema-validated extraction pipeline met reconciliation en 'n field-level eval harness gebou" is 'n sin wat jou 'n tweede onderhoud kry. Druk Run om 'n klein gelabelde batch te tel.

Jou beurt

Skryf evaluate(predictions, gold) oor twee posisie-belyn lysse van record dicts. Tel elke veld in die unie van die gold records se sleutels; 'n veld is korrek wanneer prediction.get(field) == gold[field] ( 'n ontbrekende sleutel vergelyk as None). Gee {"accuracy", "per_field", "n"} terug waar accuracy die totale korrekte oor die totale vergelykte velde is (afgerond tot 4 dp), per_field[field] is {"correct", "total"}, en n is die dokumenttelling. As gold leeg is, gee {"accuracy": 0.0, "per_field": {}, "n": 0} terug (geen deling deur nul nie).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.