第 7 阶段项目:一项带修复的研究
为什么重要 真正的隐私工作是一个循环:测量一个问题,应用一个修复,再测量一次,并诚实地说出改变了什么、代价是什么。这个项目会把这个循环从头到尾走一遍,把这个模块里的爬虫和上一个模块里的一种防御结合起来。
想想一位医生检查一种治疗是否有效:先测量,再治疗,然后用同样的方式再测量一次,并记下副作用。没有第一次测量,就没有任何可以比较的东西;不记下副作用,结果就只有一半是真的。
问题
在模拟网络上,一个监视你加密连接的人能否分辨出你访问了哪个敏感网站?需要多少填充才能可靠地阻止他们?
访问一个健康、金融或宗教网站,即使没有泄露任何其他东西,也可能暴露一些私人的事情。你将:
- 测量背景。爬取
SimWeb(seed),找出类别在SENSITIVE中的网站,并记录它们中有多少比例加载了一个列表中的跟踪器。按排名取前 6 个敏感网站。 - 测量问题。用
page_loads(seed, sites=...)获取这 6 个网站的页面加载,并测量最近质心的准确率,就像第 143 课那样。 - 应用修复。按顺序尝试
PAD_LEVELS中的填充预算。对每一个预算,用seed=1填充训练加载,用seed=2填充测试加载,重新训练,再测量一次。在第一个让准确率达到或低于TARGET的预算处停下。如果没有一个达到,就保留最后一个。 - 测量代价。所选预算下的开销,就像第 143 课那样。
- 写出局限。至少两句诚实的话,就像第 149 课那样。无论你发现了什么,有一项都属于这里:预算是通过查看你随后报告的同一批测试加载上的准确率来选择的,这会让结果显得稍微好一点。一项严谨的研究会在第三组单独的加载上挑选预算,然后只报告一次测试集的结果。
报告
study(seed) 返回一个恰好包含这些键的字典:
{
"seed": 7,
"sites": ["...", ...], # the 6 sensitive sites, by rank
"sensitive_with_trackers": 0.97, # share of ALL sensitive sites with a listed tracker
"accuracy_before": 0.94,
"padding_budget": 800, # the first level in PAD_LEVELS reaching TARGET
"accuracy_after": 0.19,
"overhead": 2.07, # extra test cells as a fraction: here about 3 times the traffic
"target_met": True, # accuracy_after <= TARGET
"limits": ["...", "..."] # at least two sentences
}这些数字会和另一个种子上的一次隐藏运行进行比较来评分,所以你的代码必须真的去做这项研究,而不是抄一个答案。局限的内容不计分,但导师可以对它们给出反馈。想一想:一个只有 6 个网站的封闭世界、一个知道你填充设置的观察者、模拟的流量,以及跟踪器比例能说明什么、不能说明什么。
注意结果的两个部分。填充保护了这次访问不被网络观察者看出,但那些网站上的跟踪器仍然会直接了解到你。一种防御永远覆盖不了所有威胁,而你的报告可以把这一点说出来。
一个常见的误解:“如果准确率降到了目标以下,问题就解决了。”你是针对这个观察者、在这个封闭世界里、以一个测量过的代价解决了它。这是一个真实的结果,而它有边界。
用其他语言实现
在其他语言里选择第一个满足目标的级别:
// JavaScript
let chosen, after;
for (const budget of PAD_LEVELS) {
chosen = budget;
after = paddedAccuracy(data, budget);
if (after <= TARGET) break;
}// Go
var chosen int
var after float64
for _, budget := range padLevels {
chosen, after = budget, paddedAccuracy(data, budget)
if after <= target { break }
}回顾
- 测量,修复,用同样的方式再测量一次,并报告代价。
- 填充对网络观察者隐藏了访问的是哪个敏感网站,代价是一个测量过的带宽开销。
- 那些网站上的跟踪器是一个单独的问题,填充触及不到它。
- 诚实的局限是结果的一部分,而不是为它道歉。
按照上面的五个步骤编写 study(seed),返回恰好包含所示各键的报告字典。使用 PAD_LEVELS = [50, 100, 200, 400, 800] 和 TARGET = 0.4,在 (outgoing, incoming) 特征上进行最近质心分类,平局时归给按字母顺序排在最前面的网站,训练加载使用 pad_traces(..., seed=1),测试加载使用 seed=2。设 report = study(7)。测试会在一个隐藏的种子上重新运行你的研究。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。