精确率与召回率
为什么重要 每一个拦截器都会犯两种错误:它放跟踪器过去,或者它拦截了一个页面需要的东西、弄坏了网站。在你能给这两者都标上一个数字之前,说“我的拦截器有效”毫无意义。研究人员和浏览器厂商正是用这两个数字来诚实地比较拦截器的。
一张渔网
想象一张只想捕鲭鱼的渔网。两个问题决定它好不好:
- 网里的所有东西中,有多少是鲭鱼?(一张装满海豚的网是一张坏网,即使它捕到了所有的鲭鱼。)
- 海里所有的鲭鱼中,这张网捕到了多少?
第一个问题是精确率。第二个问题是召回率。你两者都需要:一张没有网眼的网会捕到每一条鲭鱼,也会捕到每一只海豚。
四个格子
把日志中的每一个请求分进四个格子之一:
| 被拦截 | 被允许 | |
|---|---|---|
| 确实是跟踪器 | 真阳性(tp):抓住了,很好 | 假阴性(fn):一次隐私泄露 |
| 不是跟踪器 | 假阳性(fp):可能弄坏东西 | 真阴性(tn):没问题 |
精确率:tp / (tp + fp):在你拦截的东西中,确实是跟踪器的比例。精确率低意味着页面被弄坏。
召回率:tp / (tp + fn):在所有跟踪器请求中,你拦截下来的比例。召回率低意味着泄露。
一个算好的例子。一个拦截器拦下了 40 个请求:36 个发往跟踪器,4 个发往无害的 CDN。另外还有 12 个跟踪器请求通过了。精确率是 36 / 40 = 0.9。召回率是 36 / 48 = 0.75。所以:它拦截的时候通常是对的,但仍有四分之一的跟踪发生了。
边界情况需要做一个决定。如果拦截器什么都没拦截,精确率就会是 0 / 0。我们说它是 1.0:没有任何东西被错误地拦截。如果日志里根本没有跟踪器请求,召回率也是 1.0:没有任何东西泄露。把这样的约定写下来,是诚实测量的一部分。
真相来自某个地方
你只能对照一份答案来打分:真正是跟踪器的站点的集合。在练习世界里,我们知道它。在真实的研究中,人们一个站点一个站点地手工建立它,这既慢又不完美。永远要问:是谁决定了什么算作跟踪器?
一个常见的误解
“召回率越高总是越好。”拦截每一个第三方请求能得到完美的召回率,但它会弄坏登录、支付、地图和视频。人们随后会把拦截器关掉,最后什么保护都没有。召回率略低而精确率很高,在实际中往往能保护更多的人。
试一试 许多拦截器扩展会显示每个页面上被拦截请求的数量。挑一个在开启拦截器时运行不正常的网站,然后为这个网站关闭拦截器,看看什么开始正常工作了。你刚刚找到了一个假阳性。
用其他语言实现
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}回顾
- 精确率:在你拦截的东西中,有多少确实是跟踪(低意味着弄坏东西)。
- 召回率:在所有跟踪中,你拦截了多少(低意味着泄露)。
- 说明你的边界情况约定,并且知道答案是从哪里来的。
- 拦截一切能让召回率最大,却毁掉了精确率。
编写 score(log, trackers)。对于每一条记录,如果 site_of(record.url) in trackers,它就是一个跟踪器请求;如果 record.outcome == "blocked",它就被拦截了。统计 tp、fp、fn 和 tn,并返回一个包含这四个值以及 precision(tp / (tp + fp),什么都没拦截时为 1.0)和 recall(tp / (tp + fn),没有跟踪器请求时为 1.0)的字典。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。