Программа курса Урок 222 из 250 · Проект: Document Intelligence Service
Проект: Document Intelligence Service

Пакетная оценка по размеченным документам

Вы можете разобрать, проверить и согласовать один документ. Вопрос, который на самом деле задает менеджер по найму: насколько хорошо это работает на тысячах? Вы отвечаете так, как это делает каждая серьезная команда ML и данных -> с помощью eval. Вы берете пакет документов, которые вы разметили вручную (набор gold), запускаете свой extractor на них и измеряете, как часто каждое поле было правильным. Без eval нет доверия.

Напишите evaluate(predictions, gold). Оба являются списками словарей одинаковой длины, выровненными по позиции -> predictions[i] это результат работы вашего экстрактора для документа, чей истинный ответ gold[i]. Сравните их поле за полем и верните краткое описание:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

Правила:

  • Набор полей для оценки это объединение всех ключей, увиденных в золотых записях. (Отсутствующее поле в предсказании считается ошибкой для этого поля.)
  • Поле
  • A является correct, когда предсказанное значение равно эталонному значению. Используйте .get(field) на предсказании, чтобы отсутствующий ключ сравнивался как None, а не вызывал сбой.
  • accuracy - это общее количество верных полей, деленное на общее количество сравненных полей (документы умножить на поля), округленное до 4 знаков.
  • Безопасность пустого множества: если gold пустое, вернуть {"accuracy": 0.0, "per_field": {}, "n": 0} -> никогда не делить на ноль.

pandas делает учет аккуратным, если вы этого хотите -> создайте DataFrame попаданий по каждому полю и просуммируйте столбцы -> но пара обычных циклов по словарю тоже подойдет. Ничего не фиксируйте здесь; батч фиксированный, поэтому ваша доля верных ответов (accuracy) это число, которое проверяющий может проверить точно.

Это замыкает цикл вашего Document Intelligence Service: extract -> repair -> validate -> reconcile -> measure. "Я построил пайплайн извлечения с проверкой схемы, сверкой и системой оценки на уровне полей" это фраза, которая поможет вам пройти на второе собеседование. Нажмите Run, чтобы оценить небольшой размеченный батч.

Твоя очередь

Напишите evaluate(predictions, gold) над двумя выровненными по позициям списками словарей записей. Оцените каждое поле в объединении ключей эталонных записей; поле считается верным, когда prediction.get(field) == gold[field] (отсутствующий ключ сравнивается как None). Верните {"accuracy", "per_field", "n"}, где accuracy это общее количество верных полей из общего количества сравненных полей (округлено до 4 знаков после запятой), per_field[field] это {"correct", "total"}, а n это количество документов. Если gold пусто, верните {"accuracy": 0.0, "per_field": {}, "n": 0} (чтобы избежать деления на ноль).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.