课程大纲 第 51 课,共 156 课 · 构建一个拦截器
构建一个拦截器

精确率与召回率

为什么重要 每一个拦截器都会犯两种错误:它放跟踪器过去,或者它拦截了一个页面需要的东西、弄坏了网站。在你能给这两者都标上一个数字之前,说“我的拦截器有效”毫无意义。研究人员和浏览器厂商正是用这两个数字来诚实地比较拦截器的。

一张渔网

想象一张只想捕鲭鱼的渔网。两个问题决定它好不好:

  • 网里的所有东西中,有多少是鲭鱼?(一张装满海豚的网是一张坏网,即使它捕到了所有的鲭鱼。)
  • 海里所有的鲭鱼中,这张网捕到了多少?

第一个问题是精确率。第二个问题是召回率。你两者都需要:一张没有网眼的网会捕到每一条鲭鱼,也会捕到每一只海豚。

四个格子

把日志中的每一个请求分进四个格子之一:

被拦截被允许
确实是跟踪器真阳性(tp):抓住了,很好假阴性(fn):一次隐私泄露
不是跟踪器假阳性(fp):可能弄坏东西真阴性(tn):没问题

精确率:tp / (tp + fp):在你拦截的东西中,确实是跟踪器的比例。精确率低意味着页面被弄坏。

召回率:tp / (tp + fn):在所有跟踪器请求中,你拦截下来的比例。召回率低意味着泄露。

一个算好的例子。一个拦截器拦下了 40 个请求:36 个发往跟踪器,4 个发往无害的 CDN。另外还有 12 个跟踪器请求通过了。精确率是 36 / 40 = 0.9。召回率是 36 / 48 = 0.75。所以:它拦截的时候通常是对的,但仍有四分之一的跟踪发生了。

边界情况需要做一个决定。如果拦截器什么都没拦截,精确率就会是 0 / 0。我们说它是 1.0:没有任何东西被错误地拦截。如果日志里根本没有跟踪器请求,召回率也是 1.0:没有任何东西泄露。把这样的约定写下来,是诚实测量的一部分。

真相来自某个地方

你只能对照一份答案来打分:真正是跟踪器的站点的集合。在练习世界里,我们知道它。在真实的研究中,人们一个站点一个站点地手工建立它,这既慢又不完美。永远要问:是谁决定了什么算作跟踪器?

一个常见的误解

“召回率越高总是越好。”拦截每一个第三方请求能得到完美的召回率,但它会弄坏登录、支付、地图和视频。人们随后会把拦截器关掉,最后什么保护都没有。召回率略低而精确率很高,在实际中往往能保护更多的人。

试一试 许多拦截器扩展会显示每个页面上被拦截请求的数量。挑一个在开启拦截器时运行不正常的网站,然后为这个网站关闭拦截器,看看什么开始正常工作了。你刚刚找到了一个假阳性。

用其他语言实现

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

回顾

  • 精确率:在你拦截的东西中,有多少确实是跟踪(低意味着弄坏东西)。
  • 召回率:在所有跟踪中,你拦截了多少(低意味着泄露)。
  • 说明你的边界情况约定,并且知道答案是从哪里来的。
  • 拦截一切能让召回率最大,却毁掉了精确率。
轮到你了

编写 score(log, trackers)。对于每一条记录,如果 site_of(record.url) in trackers,它就是一个跟踪器请求;如果 record.outcome == "blocked",它就被拦截了。统计 tp、fp、fn 和 tn,并返回一个包含这四个值以及 precision(tp / (tp + fp),什么都没拦截时为 1.0)和 recall(tp / (tp + fn),没有跟踪器请求时为 1.0)的字典。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。