课程大纲 第 150 课,共 156 课 · 像研究者一样测量网络
像研究者一样测量网络

第 7 阶段项目:一项带修复的研究

为什么重要 真正的隐私工作是一个循环:测量一个问题,应用一个修复,再测量一次,并诚实地说出改变了什么、代价是什么。这个项目会把这个循环从头到尾走一遍,把这个模块里的爬虫和上一个模块里的一种防御结合起来。

想想一位医生检查一种治疗是否有效:先测量,再治疗,然后用同样的方式再测量一次,并记下副作用。没有第一次测量,就没有任何可以比较的东西;不记下副作用,结果就只有一半是真的。

问题

在模拟网络上,一个监视你加密连接的人能否分辨出你访问了哪个敏感网站?需要多少填充才能可靠地阻止他们?

访问一个健康、金融或宗教网站,即使没有泄露任何其他东西,也可能暴露一些私人的事情。你将:

  1. 测量背景。爬取 SimWeb(seed),找出类别在 SENSITIVE 中的网站,并记录它们中有多少比例加载了一个列表中的跟踪器。按排名取前 6 个敏感网站。
  2. 测量问题。用 page_loads(seed, sites=...) 获取这 6 个网站的页面加载,并测量最近质心的准确率,就像第 143 课那样。
  3. 应用修复。按顺序尝试 PAD_LEVELS 中的填充预算。对每一个预算,用 seed=1 填充训练加载,用 seed=2 填充测试加载,重新训练,再测量一次。在第一个让准确率达到或低于 TARGET 的预算处停下。如果没有一个达到,就保留最后一个。
  4. 测量代价。所选预算下的开销,就像第 143 课那样。
  5. 写出局限。至少两句诚实的话,就像第 149 课那样。无论你发现了什么,有一项都属于这里:预算是通过查看你随后报告的同一批测试加载上的准确率来选择的,这会让结果显得稍微好一点。一项严谨的研究会在第三组单独的加载上挑选预算,然后只报告一次测试集的结果。

报告

study(seed) 返回一个恰好包含这些键的字典:

{
  "seed": 7,
  "sites": ["...", ...],              # the 6 sensitive sites, by rank
  "sensitive_with_trackers": 0.97,    # share of ALL sensitive sites with a listed tracker
  "accuracy_before": 0.94,
  "padding_budget": 800,              # the first level in PAD_LEVELS reaching TARGET
  "accuracy_after": 0.19,
  "overhead": 2.07,                   # extra test cells as a fraction: here about 3 times the traffic
  "target_met": True,                 # accuracy_after <= TARGET
  "limits": ["...", "..."]            # at least two sentences
}

这些数字会和另一个种子上的一次隐藏运行进行比较来评分,所以你的代码必须真的去做这项研究,而不是抄一个答案。局限的内容不计分,但导师可以对它们给出反馈。想一想:一个只有 6 个网站的封闭世界、一个知道你填充设置的观察者、模拟的流量,以及跟踪器比例能说明什么、不能说明什么。

注意结果的两个部分。填充保护了这次访问不被网络观察者看出,但那些网站上的跟踪器仍然会直接了解到你。一种防御永远覆盖不了所有威胁,而你的报告可以把这一点说出来。

一个常见的误解:“如果准确率降到了目标以下,问题就解决了。”你是针对这个观察者、在这个封闭世界里、以一个测量过的代价解决了它。这是一个真实的结果,而它有边界。

用其他语言实现

在其他语言里选择第一个满足目标的级别:

// JavaScript
let chosen, after;
for (const budget of PAD_LEVELS) {
  chosen = budget;
  after = paddedAccuracy(data, budget);
  if (after <= TARGET) break;
}
// Go
var chosen int
var after float64
for _, budget := range padLevels {
    chosen, after = budget, paddedAccuracy(data, budget)
    if after <= target { break }
}

回顾

  • 测量,修复,用同样的方式再测量一次,并报告代价。
  • 填充对网络观察者隐藏了访问的是哪个敏感网站,代价是一个测量过的带宽开销。
  • 那些网站上的跟踪器是一个单独的问题,填充触及不到它。
  • 诚实的局限是结果的一部分,而不是为它道歉。
轮到你了

按照上面的五个步骤编写 study(seed),返回恰好包含所示各键的报告字典。使用 PAD_LEVELS = [50, 100, 200, 400, 800] 和 TARGET = 0.4,在 (outgoing, incoming) 特征上进行最近质心分类,平局时归给按字母顺序排在最前面的网站,训练加载使用 pad_traces(..., seed=1),测试加载使用 seed=2。设 report = study(7)。测试会在一个隐藏的种子上重新运行你的研究。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。