Программа курса Урок 220 из 250 · Проект: Document Intelligence Service
Проект: Document Intelligence Service

Проверка по схеме + Исправление JSON

Ваш парсер выдает словарь, но в реальном пайплайне данные часто приходят как JSON текст -> от вышестоящего сервиса, из сохраненного файла или от LLM, которой велели "вернуть JSON". Всегда случаются две ошибки, и этот урок разбирает обе: JSON некорректен, и JSON корректен, но неверный.

Часть первая: исправьте JSON. Модели любят оборачивать JSON в ```json блоки кода, оставлять лишнюю запятую или использовать одинарные кавычки. Чистый json.loads выдает ошибку на всех этих моментах. Напишите repair_json(text), который очищает текст, а затем парсит его и возвращает объект Python. Шаги исправления по порядку:

  • Удалите разметку кода Markdown: удалите начальный ```json или ``` и конечный ```.
  • Удалите лишние запятые перед } или ] (регулярное выражение типа re.sub(r",\s*([}\]])", r"\1", text)).
  • Попробуйте json.loads на очищенной строке. Только если это не сработает, замените одинарные кавычки на двойные и попробуйте снова (парсинг первым означает, что апостроф внутри значения, как O'Brien, никогда не искажается).
  • Верните разобранный результат.

Суть в том, что repair_json должен не выдавать ошибку на грязных входных данных, которые подают тесты -> он должен исправлять и парсить вместо того, чтобы падать.

Часть два: проверка по схеме. Теперь когда у вас есть объект, правильная ли у него структура? Напишите validate_record(obj, schema) -> словарь {"ok": bool, "errors": [..]}. schema сопоставляет каждое имя обязательного поля с типом Python, например:

schema = {"vendor": str, "total": float, "line_items": list}

Для каждого поля в схеме: если его нет в obj, добавьте строку ошибки "missing: <field>"; если оно есть, но с неправильным типом, добавьте "wrong type: <field>". ok это True только когда errors пустое.

Острый край, который кусает всех: в Python bool является подклассом int, поэтому isinstance(True, int) это True. Схема, запрашивающая int, должна reject JSON true. Защитите это: когда ожидаемый тип это int, также требуйте not isinstance(value, bool). Поля Float часто заполняются целыми числами, поэтому принимайте int там, где ожидается float (но все равно отклоняйте bool).

Вместе эти две функции являются привратником пайплайна: ничего искаженного и ничего неправильно сформированного не пройдет. Нажмите Run, чтобы исправить блок с лишней запятой в конце и проверить результат.

Твоя очередь

Напишите две функции. repair_json(text) удаляет Markdown code fences, убирает лишние запятые перед }/], пробует json.loads, и только если это не удается, меняет одинарные кавычки на двойные и парсит снова, возвращая объект (она НЕ должна выдавать ошибку на таких грязных входных данных). validate_record(obj, schema) возвращает {"ok": bool, "errors": [..]}: ошибку "missing: <field>" за каждое отсутствующее поле схемы и ошибку "wrong type: <field>" за несоответствие типа, с ok true только когда ошибок нет. Отклоняйте JSON true, где требуется int (bool не является int здесь), и принимайте int, где ожидается float.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.