Programme Leçon 222 sur 250 · Projet : Service d'intelligence de documents
Projet : Service d'intelligence de documents

Évaluation par lot sur les documents étiquetés

Tu peux analyser, valider et réconcilier un seul document. La question qu'un responsable du recrutement pose vraiment est : est-ce que c'est bon sur des milliers ? Tu y réponds de la manière dont chaque équipe sérieuse de ML et de données le fait -> avec un eval. Tu prends un lot de documents que tu as étiquetés à la main (le jeu gold), tu fais passer ton extracteur dessus, et tu mesures à quelle fréquence chaque champ est correct. Pas d'eval, pas de crédibilité.

Écris evaluate(predictions, gold). Les deux sont des listes de dictionnaires de même longueur, alignées par position -> predictions[i] est la sortie de ton extracteur pour le document dont la réponse vraie est gold[i]. Compare-les champ par champ et retourne un résumé :

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

Les règles :

  • L'ensemble des champs à noter est l'union de chaque clé vue dans les enregistrements gold. (Un champ manquant dans une prédiction compte comme faux pour ce champ.)
  • Le champ
  • A est correct quand la valeur prédite est égale à la valeur gold. Utilise .get(field) sur la prédiction pour qu'une clé manquante soit comparée comme None au lieu de faire planter le programme.
  • accuracy est le total des champs corrects divisé par le total des champs comparés (documents fois champs), arrondi à 4 décimales.
  • Sécurité de l'ensemble vide : si gold est vide, retourner {"accuracy": 0.0, "per_field": {}, "n": 0} -> ne jamais diviser par zéro.

pandas rend la comptabilité propre si tu le veux -> construis un DataFrame de coups par champ et somme les colonnes -> mais quelques boucles de dictionnaire simples sont tout aussi bonnes. Ne sème rien ici; le lot est fixe, donc ton exactitude est un nombre que le correcteur peut vérifier précisément.

Cela ferme la boucle sur ton Document Intelligence Service : extraire -> réparer -> valider -> réconcilier -> measure. "J'ai construit un pipeline d'extraction validé par schéma avec réconciliation et un harnais d'évaluation au niveau du champ" est une phrase qui te permet d'obtenir un deuxième entretien. Appuie sur Run pour noter un petit lot étiqueté.

À ton tour

Écris evaluate(predictions, gold) sur deux listes de dicts d'enregistrements alignées par position. Note chaque champ dans l'union des clés des records gold; un champ est correct quand prediction.get(field) == gold[field] (une clé manquante est comparée comme None). Retourne {"accuracy", "per_field", "n"} où accuracy est le total correct sur le total des champs comparés (arrondi à 4 décimales), per_field[field] est {"correct", "total"}, et n est le compte des documents. Si gold est vide, retourne {"accuracy": 0.0, "per_field": {}, "n": 0} (pas de division par zéro).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.