Programma Les 219 van 250 · Project: dienst voor documentintelligentie
Project: dienst voor documentintelligentie

Velden extraheren uit rommelige tekst

Welkom bij je belangrijkste portfolio-project. In vier lessen bouw je een Document Intelligence Service: het soort pipeline dat een fintech of ops team gebruikt om een stapel rommelige facturen om te zetten naar schone, gevalideerde en verzoende rijen in een database. Aan het einde kun je tegen een hiring manager zeggen dat je "een schema-gevalideerde extractie-pipeline met verzoening en evals hebt gebouwd" -> en bedoel het ook echt.

Stap één is het vuile werk waar niemand van houdt maar iedereen het nodig heeft: gestructureerde velden uit unstructured tekst halen. Een leverancier mailt een factuur als een tekstblok. Jouw taak is parse_invoice(text) -> een dictionary met vendor, date, total (een float), en line_items (een lijst van {"desc", "amount"} dictionaries).

De valkuil, en de reden waarom dit echt werk is: de documenten zijn niet uniform. De een zegt Total:, de volgende zegt Amount Due, een derde vult alles aan met extra spaties. Labels variëren, hoofdletters variëren, witruimte varieert. Een parser die alleen één exacte indeling aanbiedt is nutteloos op echte mail.

Vendor: Acme Corp
Date: 2026-01-15
Line: Widgets x10    120.00
Line: Shipping        8.50
Total: 128.50

De regels die je parser moet volgen:

  • De vendor komt uit een regel gelabeld vendor (niet hoofdlettergevoelig). Neem alles na de dubbele punt en verwijder de spaties.
  • De date komt uit een regel gelabeld date. Houd de raw string aan (een latere les valideert deze).
  • De total komt van een regel waarvan het label total OR amount due is (beide gezien in de praktijk). Parse het getal naar een float, waarbij een leidende $ en duizendtallenkomma's zoals 1,250.00 worden getolereerd.
  • Elke line item staat op een regel gelabeld als line of item: de tekst voor het laatste nummer is de desc (stripped), en het laatste nummer is de amount (een float).

A schone manier naar binnen: splits op nieuwe regels, en splits voor elke regel één keer op de eerste : om label, rest te krijgen. Zet het label in kleine letters, strip het, en splits de stroom. Voor het resterende geld op een regelitem pakt een kleine regex zoals re.search(r"(-?[\d,]+\.?\d*)\s*$", rest) het laatste getal. Ontbrekende velden krijgen een logische standaardwaarde: geen vendor regel -> "", geen totaal -> 0.0, geen items -> [].

Productieteams gooien steeds vaker een LLM in deze stap, maar de output van de LLM moet nog steeds in precies deze vorm landen of de rest van de pipeline breekt -> dat is waarom je eerst de deterministische parser bouwt en erop vertrouwt. Druk op Run om een voorbeeld van een factuur te parsen en zie de gestructureerde dictionary verschijnen.

Jij bent aan de beurt

Schrijf parse_invoice(text) dat een rommelige factuurstring omzet naar een dictionary met vendor (str), date (raw str), total (float), en line_items (een lijst van {"desc", "amount"} dictionaries). Wees tolerant: labels zijn niet hoofdlettergevoelig, total kan ook amount due lezen, regelitems zijn gelabeld als line of item, en getallen kunnen een $ of duizendtussenkomma's bevatten. Ontbrekende leverancier -> "", ontbrekend totaal -> 0.0, geen items -> []. Een regelbedrag kan ook een $ en duizendtussenkomma's bevatten; geen van beide hoort in desc (Line: Cloud Hosting $1,706.92 geeft beschrijving Cloud Hosting en bedrag 1706.92).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.