Gegen ein Schema validieren + JSON reparieren
Dein Parser erzeugt ein Dictionary, aber in einer echten Pipeline kommen die Daten oft als JSON-Text von einem Upstream-Service, einer gespeicherten Datei oder einem LLM, dem gesagt wurde, JSON zurückzugeben. Zwei Dinge gehen immer schief, und diese Lektion behandelt beide: Das JSON ist malformed, und das JSON ist well-formed aber falsch.
Teil eins: Repariere das JSON. Modelle lieben es, JSON in ```json Code-Zäune zu packen, ein abschließendes Komma zu lassen oder einfache Anführungszeichen zu verwenden. Rohes json.loads bricht bei all diesen Dingen ab. Schreibe repair_json(text) das den Text bereinigt und dann parst es und gibt das Python-Objekt zurück. Die Reparatur-Schritte, in der richtigen Reihenfolge:
- Markdown-Code-Zäune entfernen: entferne ein führendes
```jsonoder```und ein abschließendes```. - Entferne abschließende Kommas vor einem
}oder](ein regex wiere.sub(r",\s*([}\]])", r"\1", text)). - Versuche
json.loadsauf dem bereinigten String. Nur wenn das fehlschlägt, wandle einfache Anführungszeichen in doppelte Anführungszeichen um und versuche es erneut (parsing zuerst bedeutet, dass ein Apostroph innerhalb eines Wertes, wieO'Brien, niemals verfälscht wird). - Gib das analysierte Ergebnis zurück.
Der ganze Punkt ist, dass repair_json nicht abstürzen darf bei den unordentlichen Eingaben, die die Tests liefern -> es repariert und parst anstatt abzustürzen.
Teil zwei: gegen ein Schema validieren. Jetzt, wo du ein Objekt hast, hat es die richtige Form? Schreibe validate_record(obj, schema) -> ein dict {"ok": bool, "errors": [..]}. Das schema ordnet jeden erforderlichen Feldnamen einem Python Typ zu, wie zum Beispiel:
schema = {"vendor": str, "total": float, "line_items": list}Für jedes Feld im Schema: wenn es in obj fehlt, füge einen Fehlerstring "missing: <field>" hinzu; wenn es vorhanden ist, aber der falsche Typ vorliegt, füge "wrong type: <field>" hinzu. ok ist True nur wenn errors leer ist.
Eine scharfe Kante, die jeden beißt: In Python ist bool eine Unterklasse von int, also ist isinstance(True, int) ein True. Ein Schema, das nach einem int fragt, muss ein JSON true reject. Schütze es: Wenn der erwartete Typ int ist, fordere auch not isinstance(value, bool). Float-Felder werden oft mit ganzen Zahlen gefüttert, also akzeptiere einen int, wo ein float erwartet wird (aber lehne bool trotzdem ab).
Zusammen sind diese zwei Funktionen der Türsteher der Pipeline: nichts falsch geformtes und nichts falsch geformtes kommt durch. Drücke Run um einen umzäunten, mit abschließendem Komma versehenen Block zu reparieren und das Ergebnis zu validieren.
Schreibe zwei Funktionen. repair_json(text) entfernt Markdown Code-Fences, entfernt abschließende Kommas vor }/], versucht json.loads und konvertiert nur wenn das fehlschlägt einfache Anführungszeichen in doppelte Anführungszeichen und parst erneut, wobei das Objekt zurückgegeben wird (es darf NICHT bei diesen unordentlichen Eingaben einen Fehler werfen). validate_record(obj, schema) gibt {"ok": bool, "errors": [..]} zurück: einen "missing: <field>" Fehler pro fehlendem Schemafeld und einen "wrong type: <field>" Fehler pro Typfehler, mit ok wahr nur wenn keine Fehler vorliegen. Lehne ein JSON true ab, wo ein int erforderlich ist (bool ist hier kein int), und akzeptiere ein int, wo ein float erwartet wird.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.