Programme Leçon 220 sur 250 · Projet : Service d'intelligence de documents
Projet : Service d'intelligence de documents

Valider par rapport à un schéma + Réparer le JSON

Ton parser produit un dictionnaire, mais sur un pipeline réel les données arrivent souvent sous forme de JSON text depuis un service en amont, un fichier sauvegardé, ou un LLM à qui on a dit de "retourner du JSON". Deux choses tournent toujours mal, et cette leçon gère les deux : le JSON est malformé, et le JSON est bien formé mais incorrect.

Première partie : réparer le JSON. Les modèles aiment entourer le JSON de ```json code fences, laisser une virgule traînante, ou utiliser des guillemets simples. Le json.loads brut plante sur tout cela. Écris repair_json(text) qui nettoie le texte, puis le parse -> retournant l'objet Python. Les étapes de réparation, dans l'ordre :

  • Supprimer les clôtures de code Markdown : supprimer un ```json ou ``` au début et un ``` à la fin.
  • Supprime les virgules traînantes avant un } ou ] (une regex comme re.sub(r",\s*([}\]])", r"\1", text)).
  • Essaie json.loads sur la chaîne nettoyée. Seulement si cela échoue, transforme les guillemets simples en guillemets doubles et réessaie (le parsing d'abord signifie qu'une apostrophe à l'intérieur d'une valeur, comme O'Brien, n'est jamais altérée).
  • Retourne le résultat analysé.

Le but est que repair_json doit ne pas lever sur les entrées désordonnées que les tests lui donnent -> il répare et analyse au lieu de planter.

Partie deux : valider par rapport à un schéma. Maintenant que tu as un objet, a-t-il la bonne forme ? Écris validate_record(obj, schema) -> un dictionnaire {"ok": bool, "errors": [..]}. Le schema associe chaque nom de champ requis à un type Python, comme :

schema = {"vendor": str, "total": float, "line_items": list}

Pour chaque champ dans le schéma : s'il manque dans obj, ajoute une chaîne d'erreur "missing: <field>" ; s'il est présent mais avec le mauvais type, ajoute "wrong type: <field>". ok est True seulement quand errors est vide.

Un bord tranchant qui mord tout le monde : en Python bool est une sous-classe de int, donc isinstance(True, int) est True. Un schéma demandant un int doit reject un JSON true. Protège-le : quand le type attendu est int, exige aussi not isinstance(value, bool). Les champs Float reçoivent souvent des nombres entiers, donc accepte un int où un float est attendu (mais rejette toujours bool).

Ensemble, ces deux fonctions sont les gardiens du pipeline : rien de malformé et rien de mal structuré ne passe. Appuie sur Run pour réparer un bloc avec une virgule traînante et une clôture, et valide le résultat.

À ton tour

Écris deux fonctions. repair_json(text) supprime les balises de code Markdown, retire les virgules traînantes avant }/], essaie json.loads, et seulement si cela échoue convertit les guillemets simples en guillemets doubles et analyse à nouveau, en retournant l'objet (il ne doit PAS lever d'erreur sur ces entrées mal formées). validate_record(obj, schema) retourne {"ok": bool, "errors": [..]} : une erreur "missing: <field>" par champ de schéma absent et une erreur "wrong type: <field>" par type incorrect, avec ok vrai seulement quand il n'y a aucune erreur. Rejette un JSON true où un int est requis (bool n'est pas un int ici), et accepte un int où un float est attendu.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.