スキーマで検証し JSON を修復する
パーサーは辞書を作りますが、実際のパイプラインでは、データは JSON テキスト として届くことがよくあります -> 上流のサービスから、保存されたファイルから、あるいは「JSON で返して」と言われた LLM から。必ず 2 つのことがうまくいきません。このレッスンはその両方を扱います。JSON が 壊れている こと、そして JSON が 形式は正しいのに中身が間違っている ことです。
前半:JSON を修復する。 モデルは JSON を ```json のコードフェンスで囲んだり、末尾にカンマを残したり、シングルクォートを使ったりしがちです。素の json.loads はこれらすべてで例外を投げます。テキストを掃除してから解析する repair_json(text) を書いてください -> Python のオブジェクトを返します。修復の手順は次の順番です:
- Markdown のコードフェンスを取り除きます。先頭の
```jsonまたは```と、末尾の```を消します。 }や]の前の末尾カンマを取り除きます(re.sub(r",\s*([}\]])", r"\1", text)のような正規表現で)。- 掃除した文字列に
json.loadsを試します。それが失敗したときだけ、シングルクォートをダブルクォートに変えてもう一度試します(先に解析することで、O'Brienのような値の中のアポストロフィが壊されません)。 - 解析した結果を返します。
大事なのは、テストが与える散らかった入力に対して repair_json が 例外を投げてはいけない ことです -> クラッシュせずに、修復して解析します。
後半:スキーマで検証する。 オブジェクトが手に入ったところで、それは正しい形をしているでしょうか? validate_record(obj, schema) を書いてください -> 辞書 {"ok": bool, "errors": [..]} を返します。schema は必須の各項目名を Python の型に対応づけます。例えば:
schema = {"vendor": str, "total": float, "line_items": list}スキーマの各項目について、obj にない場合はエラー文字列 "missing: <field>" を追加し、あるのに型が違う場合は "wrong type: <field>" を追加します。ok は errors が空のときだけ True です。
誰もがつまずく鋭い落とし穴がひとつあります。Python では bool は int のサブクラスなので、isinstance(True, int) は True になります。int を求めるスキーマは、JSON の true を 拒否 しなければなりません。対策として、期待する型が int のときは not isinstance(value, bool) も条件にします。float の項目にはよく整数が渡されるので、float が期待される所では int を受け入れます(ただし bool はやはり拒否します)。
この 2 つの関数が合わさって、パイプラインの門番になります。壊れたものも、形の違うものも通しません。Run を押して、フェンス付きで末尾カンマのあるかたまりを修復し、その結果を検証してみましょう。
2 つの関数を書いてください。repair_json(text) は Markdown のコードフェンスを取り除き、}/] の前の末尾カンマを消し、json.loads を試し、それが失敗したときだけシングルクォートをダブルクォートに変えてもう一度解析して、オブジェクトを返します(それらの散らかった入力で例外を投げてはいけません)。validate_record(obj, schema) は {"ok": bool, "errors": [..]} を返します。スキーマにある項目が欠けていればそれぞれ "missing: <field>" のエラー、型が合わなければそれぞれ "wrong type: <field>" のエラーを入れ、エラーがないときだけ ok を true にします。int が必要な所では JSON の true を拒否し(ここでは bool は int ではありません)、float が期待される所では int を受け入れます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。