对照 schema 验证 + 修复 JSON
你的解析器产出一个字典,但在真实的流水线上,数据常常以 JSON 文本的形式到来:来自一个上游服务、一个保存的文件,或者一个被告知要"返回 JSON"的 LLM。总会有两件事出错,这一课两者都处理:JSON 格式错误,以及 JSON 格式正确但内容不对。
第一部分:修复 JSON。模型很喜欢把 JSON 包在 ```json 代码围栏里,留一个末尾的逗号,或者用单引号。原始的 json.loads 遇到这些全都会抛出异常。写 repair_json(text),把文本清理好,然后解析它,返回 Python 对象。修复的步骤,按顺序:
- 去掉 Markdown 代码围栏:删掉开头的
```json或```,以及末尾的```。 - 删掉
}或]之前的末尾逗号(用一个像re.sub(r",\s*([}\]])", r"\1", text)这样的正则表达式)。 - 对清理后的字符串尝试
json.loads。只有失败时,才把单引号变成双引号再试一次(先解析意味着值里面的撇号,比如O'Brien,永远不会被弄坏)。 - 返回解析后的结果。
关键在于 repair_json 在测试喂给它的杂乱输入上不能抛出异常:它修复并解析,而不是崩溃。
第二部分:对照 schema 验证。现在你有了一个对象,它的形状对吗?写 validate_record(obj, schema) -> 一个字典 {"ok": bool, "errors": [..]}。schema 把每个必需的字段名映射到一个 Python 类型,比如:
schema = {"vendor": str, "total": float, "line_items": list}对 schema 里的每个字段:如果 obj 里缺少它,就加一个错误字符串 "missing: <field>";如果它存在但类型错误,就加 "wrong type: <field>"。只有当 errors 为空时,ok 才是 True。
一个人人都会被咬到的尖锐边角:在 Python 里 bool 是 int 的子类,所以 isinstance(True, int) 是 True。一个要求 int 的 schema 必须拒绝一个 JSON true。防住它:当期望的类型是 int 时,还要要求 not isinstance(value, bool)。浮点字段常常被喂进整数,所以在期望 float 的地方接受一个 int(但仍然拒绝 bool)。
这两个函数合在一起是流水线的守门人:任何格式错误或形状不对的东西都过不去。按 Run 修复一团带围栏、有末尾逗号的数据,并验证结果。
写两个函数。repair_json(text) 去掉 Markdown 代码围栏,删掉 }/] 之前的末尾逗号,尝试 json.loads,只有失败时才把单引号转成双引号再解析,返回对象(在那些杂乱的输入上它绝不能抛出异常)。validate_record(obj, schema) 返回 {"ok": bool, "errors": [..]}:每个缺失的 schema 字段一个 "missing: <field>" 错误,每个类型不匹配一个 "wrong type: <field>" 错误,只有没有错误时 ok 才为真。在要求 int 的地方拒绝 JSON true(这里 bool 不算 int),并在期望 float 的地方接受 int。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。