Пакетная оценка по размеченным документам
Вы можете разобрать, проверить и согласовать один документ. Вопрос, который на самом деле задает менеджер по найму: насколько хорошо это работает на тысячах? Вы отвечаете так, как это делает каждая серьезная команда ML и данных -> с помощью eval. Вы берете пакет документов, которые вы разметили вручную (набор gold), запускаете свой extractor на них и измеряете, как часто каждое поле было правильным. Без eval нет доверия.
Напишите evaluate(predictions, gold). Оба являются списками словарей одинаковой длины, выровненными по позиции -> predictions[i] это результат работы вашего экстрактора для документа, чей истинный ответ gold[i]. Сравните их поле за полем и верните краткое описание:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}Правила:
- Набор полей для оценки это объединение всех ключей, увиденных в золотых записях. (Отсутствующее поле в предсказании считается ошибкой для этого поля.) Поле
- A является correct, когда предсказанное значение равно эталонному значению. Используйте
.get(field)на предсказании, чтобы отсутствующий ключ сравнивался какNone, а не вызывал сбой. accuracy- это общее количество верных полей, деленное на общее количество сравненных полей (документы умножить на поля), округленное до 4 знаков.- Безопасность пустого множества: если
goldпустое, вернуть{"accuracy": 0.0, "per_field": {}, "n": 0}-> никогда не делить на ноль.
pandas делает учет аккуратным, если вы этого хотите -> создайте DataFrame попаданий по каждому полю и просуммируйте столбцы -> но пара обычных циклов по словарю тоже подойдет. Ничего не фиксируйте здесь; батч фиксированный, поэтому ваша доля верных ответов (accuracy) это число, которое проверяющий может проверить точно.
Это замыкает цикл вашего Document Intelligence Service: extract -> repair -> validate -> reconcile -> measure. "Я построил пайплайн извлечения с проверкой схемы, сверкой и системой оценки на уровне полей" это фраза, которая поможет вам пройти на второе собеседование. Нажмите Run, чтобы оценить небольшой размеченный батч.
Напишите evaluate(predictions, gold) над двумя выровненными по позициям списками словарей записей. Оцените каждое поле в объединении ключей эталонных записей; поле считается верным, когда prediction.get(field) == gold[field] (отсутствующий ключ сравнивается как None). Верните {"accuracy", "per_field", "n"}, где accuracy это общее количество верных полей из общего количества сравненных полей (округлено до 4 знаков после запятой), per_field[field] это {"correct", "total"}, а n это количество документов. Если gold пусто, верните {"accuracy": 0.0, "per_field": {}, "n": 0} (чтобы избежать деления на ноль).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.