Lehrplan Lektion 222 von 250 · Projekt: Document Intelligence Service
Projekt: Document Intelligence Service

Batch-Auswertung über gelabelte Dokumente

Du kannst ein einzelnes Dokument parsen, validieren und abgleichen. Die Frage, die ein Personalverantwortlicher tatsächlich stellt, ist: wie gut ist es über Tausende hinweg? Du antwortest so, wie jedes ernsthafte ML und Datenteam es tut -> mit einem eval. Du nimmst eine Charge von Dokumenten, die du manuell beschriftet hast (den gold Satz), lässt deinen Extractor darüber laufen und misst, wie oft jedes Feld korrekt ausgegeben wurde. Ohne eval, keine Glaubwürdigkeit.

Schreibe evaluate(predictions, gold). Beide sind Listen von Dicts der gleichen Länge, ausgerichtet nach Position -> predictions[i] ist die Ausgabe deines Extraktors für das Dokument, dessen wahre Antwort gold[i] ist. Vergleiche sie Feld für Feld und gib eine Zusammenfassung zurück:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

Die Regeln:

  • Der Satz der Felder zur Bewertung ist die Vereinigung jedes Schlüssels, der in den Gold-Records gesehen wurde. (Ein Feld, das in einer Vorhersage fehlt, zählt als falsch für dieses Feld.)
  • Das
  • A Feld ist correct, wenn der vorhergesagte Wert dem Goldwert entspricht. Nutze .get(field) auf der Vorhersage, damit ein fehlender Schlüssel als None verglichen wird anstatt abzustürzen.
  • accuracy sind die insgesamt korrekten Felder geteilt durch die insgesamt verglichenen Felder (Dokumente mal Felder), gerundet auf 4 Stellen.
  • Leeres-Set-sicher: wenn gold leer ist, gib {"accuracy": 0.0, "per_field": {}, "n": 0} zurück -> niemals durch Null teilen.

pandas macht die Buchführung ordentlich, wenn du es willst -> baue eine DataFrame von Treffern pro Feld und summiere die Spalten -> aber ein paar einfache dict Schleifen sind genauso gut. Seed nichts hier; der Batch ist fest, also ist deine Genauigkeit eine Zahl, die der Korrektor genau prüfen kann.

Dies schließt die Schleife für deinen Document Intelligence Service: extrahieren -> reparieren -> validieren -> abgleichen -> measure. "Ich habe eine schema-validierte Extraktionspipeline mit Abgleich und einem Feld-Level-Eval-Harness gebaut" ist ein Satz, der dir ein zweites Vorstellungsgespräch einbringt. Drücke Run um eine kleine gelabelte Batch zu bewerten.

Du bist dran

Schreibe evaluate(predictions, gold) über zwei positionsausgerichtete Listen von Record-Dicts. Bewerte jedes Feld in der Vereinigung der Keys der Gold-Records; ein Feld ist korrekt, wenn prediction.get(field) == gold[field] (ein fehlender Key wird als None verglichen). Gib {"accuracy", "per_field", "n"} zurück, wobei accuracy die Gesamtzahl der korrekten über die Gesamtzahl der verglichenen Felder ist (gerundet auf 4 Dezimalstellen), per_field[field] ist {"correct", "total"} und n ist die Dokumentanzahl. Wenn gold leer ist, gib {"accuracy": 0.0, "per_field": {}, "n": 0} zurück (keine Division durch Null).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.