Batch Evaluatie Over Gelabelde Documenten
Je kunt één document parsen, valideren en afstemmen. De vraag die een recruiter echt stelt, is: hoe goed is het over duizenden? Dat beantwoord je zoals elk serieus ML- en datateam het doet -> met een eval. Je neemt een batch documenten die je met de hand gelabeld hebt (de gouden set), haalt je extractor eroverheen en meet hoe vaak elk veld goed uitkwam. Geen eval, geen geloofwaardigheid.
Schrijf evaluate(predictions, gold). Beide zijn lijsten van dicts met dezelfde lengte, op positie uitgelijnd -> predictions[i] is de uitvoer van je extractor voor het document waarvan het echte antwoord gold[i] is. Vergelijk ze veld voor veld en geef een overzicht terug:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}De regels:
- De set velden die je scoort, is de vereniging van alle sleutels die in de gouden records voorkomen. (Een veld dat in een voorspelling ontbreekt, telt voor dat veld als fout.)
- Een veld is goed als de voorspelde waarde gelijk is aan de gouden waarde. Gebruik
.get(field)op de voorspelling, zodat een ontbrekende sleutel alsNonevergeleken wordt in plaats van te crashen. accuracyis het totaal aantal goede velden gedeeld door het totaal aantal vergeleken velden (documenten maal velden), afgerond op 4 decimalen.- Veilig bij een lege set: als
goldleeg is, geef dan{"accuracy": 0.0, "per_field": {}, "n": 0}terug -> deel nooit door nul.
pandas maakt de boekhouding netjes als je dat wilt -> bouw een DataFrame met treffers per veld en tel de kolommen op -> maar een paar gewone dict-lussen zijn net zo goed. Hier hoeft niets een seed te krijgen; de batch ligt vast, dus je nauwkeurigheid is een getal dat de beoordelaar exact kan controleren.
Dit sluit de lus van je dienst voor documentintelligentie: extraheren -> repareren -> valideren -> afstemmen -> meten. "Ik bouwde een schemagevalideerde extractiepijplijn met afstemming en een eval-harnas op veldniveau" is een zin die je een tweede gesprek oplevert. Druk op Run om een kleine gelabelde batch te scoren.
Schrijf evaluate(predictions, gold) over twee positie-uitgelijnde lijsten van record dicts. Score elk veld in de unie van de keys van de gold records; een veld is correct wanneer prediction.get(field) == gold[field] (een ontbrekende key vergelijkt als None). Geef {"accuracy", "per_field", "n"} terug waar accuracy de totale correcte velden over de totale vergeleken velden is (afgerond op 4 decimalen), per_field[field] is {"correct", "total"}, en n is het documentaantal. Als gold leeg is, geef {"accuracy": 0.0, "per_field": {}, "n": 0} terug (geen deling door nul).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.