Évaluation par lot sur les documents étiquetés
Tu peux analyser, valider et réconcilier un seul document. La question qu'un responsable du recrutement pose vraiment est : est-ce que c'est bon sur des milliers ? Tu y réponds de la manière dont chaque équipe sérieuse de ML et de données le fait -> avec un eval. Tu prends un lot de documents que tu as étiquetés à la main (le jeu gold), tu fais passer ton extracteur dessus, et tu mesures à quelle fréquence chaque champ est correct. Pas d'eval, pas de crédibilité.
Écris evaluate(predictions, gold). Les deux sont des listes de dictionnaires de même longueur, alignées par position -> predictions[i] est la sortie de ton extracteur pour le document dont la réponse vraie est gold[i]. Compare-les champ par champ et retourne un résumé :
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}Les règles :
- L'ensemble des champs à noter est l'union de chaque clé vue dans les enregistrements gold. (Un champ manquant dans une prédiction compte comme faux pour ce champ.) Le champ
- A est correct quand la valeur prédite est égale à la valeur gold. Utilise
.get(field)sur la prédiction pour qu'une clé manquante soit comparée commeNoneau lieu de faire planter le programme. accuracyest le total des champs corrects divisé par le total des champs comparés (documents fois champs), arrondi à 4 décimales.- Sécurité de l'ensemble vide : si
goldest vide, retourner{"accuracy": 0.0, "per_field": {}, "n": 0}-> ne jamais diviser par zéro.
pandas rend la comptabilité propre si tu le veux -> construis un DataFrame de coups par champ et somme les colonnes -> mais quelques boucles de dictionnaire simples sont tout aussi bonnes. Ne sème rien ici; le lot est fixe, donc ton exactitude est un nombre que le correcteur peut vérifier précisément.
Cela ferme la boucle sur ton Document Intelligence Service : extraire -> réparer -> valider -> réconcilier -> measure. "J'ai construit un pipeline d'extraction validé par schéma avec réconciliation et un harnais d'évaluation au niveau du champ" est une phrase qui te permet d'obtenir un deuxième entretien. Appuie sur Run pour noter un petit lot étiqueté.
Écris evaluate(predictions, gold) sur deux listes de dicts d'enregistrements alignées par position. Note chaque champ dans l'union des clés des records gold; un champ est correct quand prediction.get(field) == gold[field] (une clé manquante est comparée comme None). Retourne {"accuracy", "per_field", "n"} où accuracy est le total correct sur le total des champs comparés (arrondi à 4 décimales), per_field[field] est {"correct", "total"}, et n est le compte des documents. Si gold est vide, retourne {"accuracy": 0.0, "per_field": {}, "n": 0} (pas de division par zéro).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.