课程大纲 第 57 课,共 156 课 · 诚实地衡量隐私
诚实地衡量隐私

第 2 阶段项目:跟踪器实验室报告

为什么重要 这是第 2 阶段汇聚在一起的地方。你将在一个你从未见过的练习世界上运行完整的循环:跟踪器,然后分区,然后拦截器,然后测量,并像一位隐私研究者那样报告它:用任何人都能核查的数字。

任务说明

一家练习用的新闻编辑部问你:“在这三家商店上,读者对浏览器的选择能在多大程度上保护他们?”你将用你自己的代码生成一份 JSON 报告来回答。JSON 只是写成文本的字典,这样另一个程序(或者评分器)就能读取它。

实验世界:来自 watched.leg2b_lab 的 build_lab_world(seed):通常的三家商店、AdCo 和 Metrics,外加一个名字随种子变化的额外跟踪器,以及每家商店上一个无害的评论小部件,它是用来引诱粗心的拦截器的。

因为额外的跟踪器会随种子变化,一份写死的列表是通不过的。你在第 48 课写的检测器必须找到它。lab_truth(world) 给你的是只用于评分的标准答案:在真实的研究中,构建它是缓慢的手工活。

三次运行

每次运行都浏览来自 lab_urls(world, n, seed) 的同一个页面列表,并安装一份全新的 AdCo 练习用跟踪器(来自 watched.leg2e_inside 的 server, profiles = practice_tracker(world),也就是你在第 7 模块研究过的那个现成跟踪器),这样任何一次运行都看不到另一次运行的画像。你不写跟踪器;你测量它。

  1. 普通浏览器。AdCo 的跟踪器把多少个商店网站拼接到了一个 ID 上?同时对这次运行的日志运行 find_trackers。
  2. 分区浏览器(Browser(world, partitioned=True))。同样的问题。每家商店都有自己的 AdCo Cookie 罐子,所以答案应该降到 1。
  3. 你的拦截器(Browser(world, blocker=make_blocker(found)))。同样的问题,外加对照 lab_truth(world) 的精确率和召回率。

一个避免重复的整洁办法:写一个辅助函数,比如 tracked_run(world, urls, **options),它移除旧的跟踪器、安装一个新的、进行浏览,然后返回浏览器和拼接起来的数量。**options 会把 partitioned=True 这样的关键字设置直接传给 Browser。

报告

键值
pages浏览的 URL 数量
trackers_found你的检测器在第 1 次运行中标记的网站组成的排好序的列表
linked_sites、linked_sites_partitioned、linked_sites_blocked在第 1、2、3 次运行中,拼接到一个 AdCo ID 上的商店网站的最大数量(没有画像时为 0)
requests_total第 3 次运行的日志中的记录数
requests_blocked其中有多少被拦截了
precision、recall第 3 次运行对照 lab_truth(world) 的结果,四舍五入到 3 位小数

最后,对于使用 lab_urls(world, 30, seed=7) 的 build_lab_world(seed=7),设 report_json = json.dumps(report, indent=2, sort_keys=True),并把它打印出来。

提交之前的检查清单

  • 每次运行都安装一个全新的跟踪器,并在之后把它移除(world.remove_trackers())。
  • find_trackers 不会标记 widgets.example 或 cdn.example。
  • 报告里的每个值都是普通的数字、字符串或列表,这样 json.dumps 才能工作。

解读你自己的结果

你应该能在几个数字里看到整个阶段的故事:一个 ID 遍布每家商店,然后分区时变成 1,再用你的拦截器时变成 0。仅靠分区就能阻止跨站拼接,但 AdCo 仍然能看到每一次访问。拦截能让 AdCo 什么都听不到,代价是可能出现假阳性,这一点你的精确率会显示出来。两者都触及不到一家商店自己的服务器分享了什么。这个缺口正是第 3 和第 4 阶段接手的地方。

试一试 通过之后,做一个粗心的检测器副本,让它无视那些线索,把每一个第三方网站都标记出来,然后用它重新运行拦截器。看着精确率下降:哪些无害的网站被抓住了,在一家真实的商店上会弄坏什么?

用其他语言实现

JavaScript:

// The same report, written out as JSON
const report = {
  pages: urls.length,
  trackers_found: [...found].sort(),
  linked_sites: linked,
  precision: Math.round(precision * 1000) / 1000,
};
console.log(JSON.stringify(report, null, 2));

Go:

type Report struct {
    Pages         int      `json:"pages"`
    TrackersFound []string `json:"trackers_found"`
    LinkedSites   int      `json:"linked_sites"`
    Precision     float64  `json:"precision"`
}
out, _ := json.MarshalIndent(report, "", "  ")
fmt.Println(string(out))

回顾

  • 完整的循环:在一个你没见过的世界上跟踪、分区、拦截、测量。
  • 分区阻止跨站拼接;拦截让跟踪器什么都听不到。
  • 精确率和召回率让你的拦截器对破坏和泄露保持诚实。
  • 一份由可核查的数字组成的报告,才是提出隐私主张应有的方式。
轮到你了

编写 find_trackers(log)(来自第 48 课,连同它的辅助函数)、score(log, trackers)(来自第 51 课)、make_blocker(trackers),返回一个拦截所有网站在 trackers 中的请求的拦截器,以及 run_lab(world, urls),返回一个报告字典,恰好包含任务说明里描述的这些键:pages、trackers_found、linked_sites、linked_sites_partitioned、linked_sites_blocked、requests_total、requests_blocked、precision 和 recall。然后为 build_lab_world(seed=7) 和 lab_urls(world, 30, seed=7) 设置并打印 report_json。AdCo 的跟踪器是现成的:在每次运行中使用来自 watched.leg2e_inside 的 server, profiles = practice_tracker(world)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。