课程大纲 第 220 课,共 250 课 · 项目:文档智能服务
项目:文档智能服务

对照 schema 验证 + 修复 JSON

你的解析器产出一个字典,但在真实的流水线上,数据常常以 JSON 文本的形式到来:来自一个上游服务、一个保存的文件,或者一个被告知要"返回 JSON"的 LLM。总会有两件事出错,这一课两者都处理:JSON 格式错误,以及 JSON 格式正确但内容不对。

第一部分:修复 JSON。模型很喜欢把 JSON 包在 ```json 代码围栏里,留一个末尾的逗号,或者用单引号。原始的 json.loads 遇到这些全都会抛出异常。写 repair_json(text),把文本清理好,然后解析它,返回 Python 对象。修复的步骤,按顺序:

  • 去掉 Markdown 代码围栏:删掉开头的 ```json 或 ```,以及末尾的 ```。
  • 删掉 } 或 ] 之前的末尾逗号(用一个像 re.sub(r",\s*([}\]])", r"\1", text) 这样的正则表达式)。
  • 对清理后的字符串尝试 json.loads。只有失败时,才把单引号变成双引号再试一次(先解析意味着值里面的撇号,比如 O'Brien,永远不会被弄坏)。
  • 返回解析后的结果。

关键在于 repair_json 在测试喂给它的杂乱输入上不能抛出异常:它修复并解析,而不是崩溃。

第二部分:对照 schema 验证。现在你有了一个对象,它的形状对吗?写 validate_record(obj, schema) -> 一个字典 {"ok": bool, "errors": [..]}。schema 把每个必需的字段名映射到一个 Python 类型,比如:

schema = {"vendor": str, "total": float, "line_items": list}

对 schema 里的每个字段:如果 obj 里缺少它,就加一个错误字符串 "missing: <field>";如果它存在但类型错误,就加 "wrong type: <field>"。只有当 errors 为空时,ok 才是 True。

一个人人都会被咬到的尖锐边角:在 Python 里 bool 是 int 的子类,所以 isinstance(True, int) 是 True。一个要求 int 的 schema 必须拒绝一个 JSON true。防住它:当期望的类型是 int 时,还要要求 not isinstance(value, bool)。浮点字段常常被喂进整数,所以在期望 float 的地方接受一个 int(但仍然拒绝 bool)。

这两个函数合在一起是流水线的守门人:任何格式错误或形状不对的东西都过不去。按 Run 修复一团带围栏、有末尾逗号的数据,并验证结果。

轮到你了

写两个函数。repair_json(text) 去掉 Markdown 代码围栏,删掉 }/] 之前的末尾逗号,尝试 json.loads,只有失败时才把单引号转成双引号再解析,返回对象(在那些杂乱的输入上它绝不能抛出异常)。validate_record(obj, schema) 返回 {"ok": bool, "errors": [..]}:每个缺失的 schema 字段一个 "missing: <field>" 错误,每个类型不匹配一个 "wrong type: <field>" 错误,只有没有错误时 ok 才为真。在要求 int 的地方拒绝 JSON true(这里 bool 不算 int),并在期望 float 的地方接受 int。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。