课程大纲 第 222 课,共 250 课 · 项目:文档智能服务
项目:文档智能服务

在带标签的文档上做批量评测

你能解析、验证和对账单个文档。招聘经理真正会问的问题是:在成千上万份文档上它有多好?你用每个正经的机器学习和数据团队都会用的方式来回答:用一次评测。你拿一批手工标注过的文档(标准答案集),让你的提取器跑一遍,然后衡量每个字段有多少次是对的。没有评测,就没有可信度。

写 evaluate(predictions, gold)。两者都是长度相同、按位置对齐的字典列表:predictions[i] 是你的提取器对那份真实答案为 gold[i] 的文档的输出。逐个字段地比较它们,并返回一份摘要:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

规则:

  • 要打分的字段集合,是所有标准答案记录中出现过的每个键的并集。(预测里缺少的字段,对那个字段算作错误。)
  • 当预测值等于标准答案值时,一个字段就是正确的。对预测使用 .get(field),这样缺失的键会作为 None 来比较,而不是崩溃。
  • accuracy 是正确字段的总数除以比较过的字段总数(文档数乘以字段数),四舍五入到 4 位小数。
  • 对空集安全:如果 gold 为空,就返回 {"accuracy": 0.0, "per_field": {}, "n": 0},永远不要除以零。

如果你愿意,pandas 能让记账工作很整洁:建一个逐字段命中情况的 DataFrame,再对各列求和;但几个普通的字典循环也一样好。这里什么都不用设种子;这批数据是固定的,所以你的准确率是一个评分器可以精确核对的数字。

这就让你的文档智能服务形成了闭环:提取 -> 修复 -> 验证 -> 对账 -> 衡量。"我构建了一个带对账和字段级评测工具、经过 schema 验证的提取流水线"是一句能为你赢得第二轮面试的话。按 Run 给一小批带标签的数据打分。

轮到你了

在两个按位置对齐的记录字典列表上写 evaluate(predictions, gold)。对标准答案记录的键的并集中的每个字段打分;当 prediction.get(field) == gold[field] 时,一个字段是正确的(缺失的键作为 None 比较)。返回 {"accuracy", "per_field", "n"},其中 accuracy 是正确总数除以比较过的字段总数(四舍五入到 4 位小数),per_field[field] 是 {"correct", "total"},n 是文档数量。如果 gold 为空,就返回 {"accuracy": 0.0, "per_field": {}, "n": 0}(不要除以零)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。