在带标签的文档上做批量评测
你能解析、验证和对账单个文档。招聘经理真正会问的问题是:在成千上万份文档上它有多好?你用每个正经的机器学习和数据团队都会用的方式来回答:用一次评测。你拿一批手工标注过的文档(标准答案集),让你的提取器跑一遍,然后衡量每个字段有多少次是对的。没有评测,就没有可信度。
写 evaluate(predictions, gold)。两者都是长度相同、按位置对齐的字典列表:predictions[i] 是你的提取器对那份真实答案为 gold[i] 的文档的输出。逐个字段地比较它们,并返回一份摘要:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}规则:
- 要打分的字段集合,是所有标准答案记录中出现过的每个键的并集。(预测里缺少的字段,对那个字段算作错误。)
- 当预测值等于标准答案值时,一个字段就是正确的。对预测使用
.get(field),这样缺失的键会作为None来比较,而不是崩溃。 accuracy是正确字段的总数除以比较过的字段总数(文档数乘以字段数),四舍五入到 4 位小数。- 对空集安全:如果
gold为空,就返回{"accuracy": 0.0, "per_field": {}, "n": 0},永远不要除以零。
如果你愿意,pandas 能让记账工作很整洁:建一个逐字段命中情况的 DataFrame,再对各列求和;但几个普通的字典循环也一样好。这里什么都不用设种子;这批数据是固定的,所以你的准确率是一个评分器可以精确核对的数字。
这就让你的文档智能服务形成了闭环:提取 -> 修复 -> 验证 -> 对账 -> 衡量。"我构建了一个带对账和字段级评测工具、经过 schema 验证的提取流水线"是一句能为你赢得第二轮面试的话。按 Run 给一小批带标签的数据打分。
在两个按位置对齐的记录字典列表上写 evaluate(predictions, gold)。对标准答案记录的键的并集中的每个字段打分;当 prediction.get(field) == gold[field] 时,一个字段是正确的(缺失的键作为 None 比较)。返回 {"accuracy", "per_field", "n"},其中 accuracy 是正确总数除以比较过的字段总数(四舍五入到 4 位小数),per_field[field] 是 {"correct", "total"},n 是文档数量。如果 gold 为空,就返回 {"accuracy": 0.0, "per_field": {}, "n": 0}(不要除以零)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。