Программа курса Урок 219 из 250 · Проект: Document Intelligence Service
Проект: Document Intelligence Service

Извлечение полей из грязного текста

Добро пожаловать в ваш главный проект для портфолио. За четыре урока вы построите Document Intelligence Service: это тот тип пайплайна, который финтех или операционная команда использует, чтобы превратить кучу грязных счетов в чистые, проверенные и сверкированные строки в базе данных. В конце вы сможете сказать менеджеру по найму, что вы "построили пайплайн извлечения с проверкой схемы, сверкой и оценками" -> и это будет правдой.

Шаг один это грязная часть которую никто не любит но все она нужна: извлечение структурированных полей из unstructured текста. Поставщик присылает счет в письме как кусок текста. Ваша задача parse_invoice(text) -> словарь с vendor, date, total (это float), и line_items (список из {"desc", "amount"} словарей).

Подвох и причина, по которой это настоящая работа: документы не однородны. Один говорит Total:, следующий говорит Amount Due, а третий дополняет все лишними пробелами. Метки меняются, регистр меняется, пробелы меняются. Парсер, который обрабатывает только один точный макет, бесполезен на реальной почте.

Vendor: Acme Corp
Date: 2026-01-15
Line: Widgets x10    120.00
Line: Shipping        8.50
Total: 128.50

Правила, которым должен следовать ваш парсер:

  • Поставщик идет из строки с меткой vendor (регистр не важен). Возьмите все, что после двоеточия, и удалите лишнее.
  • Дата берётся из строки с меткой date. Сохраните исходную строку (её проверит один из следующих уроков).
  • total берется из строки, чья метка total или amount due (оба встречаются в природе). Разберите число в float, допуская ведущий $ и запятые тысяч типа 1,250.00.
  • Каждый line item находится на строке с меткой line или item: текст перед последним числом это desc (stripped), а последнее число это amount (float).

A чистый вход: разделите на новые строки, и для каждой строки разделите один раз по первому : чтобы получить label, rest. Переведите метку в нижний регистр, удалите пробелы и разветви. Для остатка денег в строке позиции небольшое регулярное выражение типа re.search(r"(-?[\d,]+\.?\d*)\s*$", rest) захватывает последнее число. Отсутствующие поля по умолчанию заполняются разумно: нет строки продавца -> "", нет итога -> 0.0, нет позиций -> [].

Команды разработки всё чаще используют LLM на этом этапе, но результат LLM всё равно должен иметь именно такую форму или остальная часть пайплайна сломается -> поэтому сначала создают детерминированный парсер и доверяют ему. Нажмите Run чтобы спарсить образец счета и увидеть структурированный словарь на выходе.

Твоя очередь

Напишите parse_invoice(text), который превращает грязную строку счета в словарь с vendor (str), date (raw str), total (float) и line_items (список словарей {"desc", "amount"}). Будьте терпим: метки нечувствительны к регистру, total может вместо этого читать amount due, позиции в строках помечены line или item, а числа могут содержать $ или запятые тысяч. Отсутствующий продавец -> "", отсутствующая сумма -> 0.0, нет позиций -> []. Сумма строки может содержать $ и запятые тысяч тоже; ни то, ни другое не должно быть в desc (Line: Cloud Hosting $1,706.92 дает описание Cloud Hosting и сумму 1706.92).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.