Programma Les 220 van 250 · Project: dienst voor documentintelligentie
Project: dienst voor documentintelligentie

Valideer tegen een schema + Repareer JSON

Je parser produceert een dictionary, maar in een echte pipeline komt de data vaak aan als JSON tekst -> van een upstream service, een opgeslagen bestand, of een LLM die de opdracht kreeg om "JSON te retourneren." Er gaan altijd twee dingen mis, en deze les behandelt beide: de JSON is malformed, en de JSON is well-formed maar fout.

Deel een: herstel de JSON. Modellen houden ervan om JSON in ```json code fences te wikkelen, een achtergebleven komma te laten, of enkele aanhalingstekens te gebruiken. Ruwe json.loads faalt bij al deze zaken. Schrijf repair_json(text) dat de tekst opschoont en deze vervolgens parset -> het Python object retourneert. De herstel stappen, in volgorde:

  • Strip Markdown code fences: verwijder een beginnende ```json of ``` en een eindigende ```.
  • Verwijder de laatste komma's voor een } of ] (een regex zoals re.sub(r",\s*([}\]])", r"\1", text)).
  • Probeer json.loads op de schoongemaakte string. Alleen als dat mislukt, verander je enkele aanhalingstekens naar dubbele aanhalingstekens en probeer je het opnieuw (parsing eerst betekent dat een apostrof binnen een waarde, zoals O'Brien, nooit wordt verpest).
  • Geef het geparseerde resultaat terug.

Het hele punt is dat repair_json niet mag crashen op de rommelige inputs die de tests aanvoeren -> het herstelt en analyseert in plaats van crashen.

Deel twee: valideren tegen een schema. Nu je een object hebt, heeft het de juiste vorm? Schrijf validate_record(obj, schema) -> een dict {"ok": bool, "errors": [..]}. De schema koppelt elke vereiste veldnaam aan een Python type, zoals:

schema = {"vendor": str, "total": float, "line_items": list}

Voor elk veld in het schema: als het ontbreekt in obj, voeg een foutstring "missing: <field>" toe; als het aanwezig is maar het verkeerde type heeft, voeg "wrong type: <field>" toe. ok is True alleen wanneer errors leeg is.

Eén scherpe rand die iedereen bijt: in Python bool is een subclass van int, dus isinstance(True, int) is True. Een schema dat vraagt om een int moet reject een JSON true. Beveilig het: wanneer het verwachte type int is, eis dan ook not isinstance(value, bool). Float velden krijgen vaak hele getallen, dus accepteer een int waar een float wordt verwacht (maar weiger nog steeds bool).

Samen zijn deze twee functies de bewaker van de pipeline: niets misvormds en niets verkeerd gevormds komt erdoorheen. Druk op Run om een omheind, trailing-comma blob te repareren en het resultaat te valideren.

Jij bent aan de beurt

Schrijf twee functies. repair_json(text) verwijdert Markdown code fences, verwijdert achtergebleven komma's voor }/], probeert json.loads, en alleen als dat faalt zet het enkele aanhalingstekens om naar dubbele aanhalingstekens en parse het opnieuw, waarbij het object wordt geretourneerd (het mag NIET crashen bij die rommelige inputs). validate_record(obj, schema) geeft {"ok": bool, "errors": [..]} terug: een "missing: <field>" fout per ontbrekend schema veld en een "wrong type: <field>" fout per type mismatch, met ok waar alleen als er geen fouten zijn. Wees afwijzend tegen een JSON true waar een int vereist is (bool is hier geen int), en accepteer een int waar een float wordt verwacht.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.