シラバス レッスン 250 中 220 · プロジェクト:ドキュメントインテリジェンスサービス
プロジェクト:ドキュメントインテリジェンスサービス

スキーマで検証し JSON を修復する

パーサーは辞書を作りますが、実際のパイプラインでは、データは JSON テキスト として届くことがよくあります -> 上流のサービスから、保存されたファイルから、あるいは「JSON で返して」と言われた LLM から。必ず 2 つのことがうまくいきません。このレッスンはその両方を扱います。JSON が 壊れている こと、そして JSON が 形式は正しいのに中身が間違っている ことです。

前半:JSON を修復する。 モデルは JSON を ```json のコードフェンスで囲んだり、末尾にカンマを残したり、シングルクォートを使ったりしがちです。素の json.loads はこれらすべてで例外を投げます。テキストを掃除してから解析する repair_json(text) を書いてください -> Python のオブジェクトを返します。修復の手順は次の順番です:

  • Markdown のコードフェンスを取り除きます。先頭の ```json または ``` と、末尾の ``` を消します。
  • } や ] の前の末尾カンマを取り除きます(re.sub(r",\s*([}\]])", r"\1", text) のような正規表現で)。
  • 掃除した文字列に json.loads を試します。それが失敗したときだけ、シングルクォートをダブルクォートに変えてもう一度試します(先に解析することで、O'Brien のような値の中のアポストロフィが壊されません)。
  • 解析した結果を返します。

大事なのは、テストが与える散らかった入力に対して repair_json が 例外を投げてはいけない ことです -> クラッシュせずに、修復して解析します。

後半:スキーマで検証する。 オブジェクトが手に入ったところで、それは正しい形をしているでしょうか? validate_record(obj, schema) を書いてください -> 辞書 {"ok": bool, "errors": [..]} を返します。schema は必須の各項目名を Python の型に対応づけます。例えば:

schema = {"vendor": str, "total": float, "line_items": list}

スキーマの各項目について、obj にない場合はエラー文字列 "missing: <field>" を追加し、あるのに型が違う場合は "wrong type: <field>" を追加します。ok は errors が空のときだけ True です。

誰もがつまずく鋭い落とし穴がひとつあります。Python では bool は int のサブクラスなので、isinstance(True, int) は True になります。int を求めるスキーマは、JSON の true を 拒否 しなければなりません。対策として、期待する型が int のときは not isinstance(value, bool) も条件にします。float の項目にはよく整数が渡されるので、float が期待される所では int を受け入れます(ただし bool はやはり拒否します)。

この 2 つの関数が合わさって、パイプラインの門番になります。壊れたものも、形の違うものも通しません。Run を押して、フェンス付きで末尾カンマのあるかたまりを修復し、その結果を検証してみましょう。

あなたの番

2 つの関数を書いてください。repair_json(text) は Markdown のコードフェンスを取り除き、}/] の前の末尾カンマを消し、json.loads を試し、それが失敗したときだけシングルクォートをダブルクォートに変えてもう一度解析して、オブジェクトを返します(それらの散らかった入力で例外を投げてはいけません)。validate_record(obj, schema) は {"ok": bool, "errors": [..]} を返します。スキーマにある項目が欠けていればそれぞれ "missing: <field>" のエラー、型が合わなければそれぞれ "wrong type: <field>" のエラーを入れ、エラーがないときだけ ok を true にします。int が必要な所では JSON の true を拒否し(ここでは bool は int ではありません)、float が期待される所では int を受け入れます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。