Извлечение полей из грязного текста
Добро пожаловать в ваш главный проект для портфолио. За четыре урока вы построите Document Intelligence Service: это тот тип пайплайна, который финтех или операционная команда использует, чтобы превратить кучу грязных счетов в чистые, проверенные и сверкированные строки в базе данных. В конце вы сможете сказать менеджеру по найму, что вы "построили пайплайн извлечения с проверкой схемы, сверкой и оценками" -> и это будет правдой.
Шаг один это грязная часть которую никто не любит но все она нужна: извлечение структурированных полей из unstructured текста. Поставщик присылает счет в письме как кусок текста. Ваша задача parse_invoice(text) -> словарь с vendor, date, total (это float), и line_items (список из {"desc", "amount"} словарей).
Подвох и причина, по которой это настоящая работа: документы не однородны. Один говорит Total:, следующий говорит Amount Due, а третий дополняет все лишними пробелами. Метки меняются, регистр меняется, пробелы меняются. Парсер, который обрабатывает только один точный макет, бесполезен на реальной почте.
Vendor: Acme Corp
Date: 2026-01-15
Line: Widgets x10 120.00
Line: Shipping 8.50
Total: 128.50Правила, которым должен следовать ваш парсер:
- Поставщик идет из строки с меткой
vendor(регистр не важен). Возьмите все, что после двоеточия, и удалите лишнее. - Дата берётся из строки с меткой
date. Сохраните исходную строку (её проверит один из следующих уроков). - total берется из строки, чья метка
totalилиamount due(оба встречаются в природе). Разберите число вfloat, допуская ведущий$и запятые тысяч типа1,250.00. - Каждый line item находится на строке с меткой
lineилиitem: текст перед последним числом этоdesc(stripped), а последнее число этоamount(float).
A чистый вход: разделите на новые строки, и для каждой строки разделите один раз по первому : чтобы получить label, rest. Переведите метку в нижний регистр, удалите пробелы и разветви. Для остатка денег в строке позиции небольшое регулярное выражение типа re.search(r"(-?[\d,]+\.?\d*)\s*$", rest) захватывает последнее число. Отсутствующие поля по умолчанию заполняются разумно: нет строки продавца -> "", нет итога -> 0.0, нет позиций -> [].
Команды разработки всё чаще используют LLM на этом этапе, но результат LLM всё равно должен иметь именно такую форму или остальная часть пайплайна сломается -> поэтому сначала создают детерминированный парсер и доверяют ему. Нажмите Run чтобы спарсить образец счета и увидеть структурированный словарь на выходе.
Напишите parse_invoice(text), который превращает грязную строку счета в словарь с vendor (str), date (raw str), total (float) и line_items (список словарей {"desc", "amount"}). Будьте терпим: метки нечувствительны к регистру, total может вместо этого читать amount due, позиции в строках помечены line или item, а числа могут содержать $ или запятые тысяч. Отсутствующий продавец -> "", отсутствующая сумма -> 0.0, нет позиций -> []. Сумма строки может содержать $ и запятые тысяч тоже; ни то, ни другое не должно быть в desc (Line: Cloud Hosting $1,706.92 дает описание Cloud Hosting и сумму 1706.92).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.