课程大纲 第 145 课,共 156 课 · 像研究者一样测量网络
像研究者一样测量网络

隐私研究是怎样进行的

为什么重要 我们对网络跟踪的大部分了解,比如有多少网站带有跟踪器、哪些公司触及的人最多,都来自那些自动加载数千个网站并记录所发生事情的研究。了解这些研究是怎样进行的,能让你判断一个新闻标题里的数字,并在接下来的几课里运行你自己的研究。

想想一次鸟类调查。志愿者在每年同一时间走同样的路线,数一数他们看到了什么。计数的好坏只取决于方法:只在阳光明媚的公园里走,你就会错过猫头鹰。网络研究也是一样。像“80% 的网站带有跟踪器”这样的数字,在你知道是哪些网站、从哪里、以及怎样访问它们之前,毫无意义。

爬虫:一个自动地、一个接一个地访问网页,并记录它发现了什么的程序。

普查研究:一种试图访问一个大的、明确界定的集合中每一个网站(比如最受欢迎的一百万个网站)而不是少数几个的测量,这样它才能说出某样东西有多普遍。

插桩:给浏览器加上的额外记录功能,让一项研究能看到页面发出的每一个请求、每一个 Cookie 和每一次脚本调用,而不只是屏幕上显示的东西。

一项现代研究是怎样进行的

  1. 选择网站。通常是一份公开的热门网站排名,有时是一个随机样本,有时是某一个类别(新闻、健康)。
  2. 驱动一个真正的浏览器。简单的下载会漏掉大部分跟踪器,因为跟踪器是由脚本加载的。研究会驱动一个真正的浏览器,让它运行页面的代码。
  3. 记录一切。请求和响应、设置的 Cookie、每个脚本使用了哪些浏览器功能(比如读取 canvas,这是一条指纹识别的线索),以及重定向。
  4. 打标签并计数。把第三方和跟踪器列表进行匹配,然后统计每一个出现的频率。

一个著名的例子是 OpenWPM,一款开源的测量工具,在 2016 年的一项研究中被使用,那项研究爬取了最受欢迎的一百万个网站,以前所未有的规模发现了指纹识别脚本和跟踪行为。后来的许多研究都遵循同样的模式。

为什么方法会改变答案

  • 只看首页,还是更深入?内页(文章、结账页面)常常会加载不同的跟踪器。
  • 无状态还是有状态?无状态的爬取会用一个全新的浏览器开始每个网站;有状态的爬取则像一个人那样在网站之间保留 Cookie,因此能看到跨站跟踪。
  • 同意横幅。一个从不点击的爬虫测量的是同意之前发生的事情;一个点击了“接受”的爬虫测量的是另一回事。要说明你是怎么做的。
  • 爬虫所在的位置。网站会向不同国家、不同设备展示不同的东西。
  • 机器人检测。有些网站对待爬虫和对待人不一样,所以一次爬取可能会少算。
  • 时间。网络每周都在变化。一项研究是一张带日期的快照。

一个常见的误解:“爬取的规模越大,研究就越好。”规模能减少随机误差,却不能减少偏差。从一个数据中心、不点击任何东西地访问一百万个首页,可能会对真实的人所经历的事情做出精确的错误判断。

在这个模块里,你将爬取一个由 1,000 个编造的网站组成的模拟网络。在对学习来说重要的那些方面,它的表现和真实的网络一样,而且不会联系任何真实的东西。

试一试 打开浏览器的开发者工具(F12,在 Mac 上按 Cmd+Option+I),进入 Network 标签页,然后加载一个新闻网站。数一数列表里不同的域名。你刚刚手工完成了对一个网站的爬取。然后勾选 Network 标签页的“Disable cache”框再重新加载一次,看看列表有没有变化。

回顾

  • 隐私研究用一个插了桩的真实浏览器爬取许多网站,并统计它们记录下来的东西。
  • 普查研究的目标是覆盖一个完整的、明确界定的集合,比如排名前一百万的网站。
  • 像只看首页、是否点击同意、位置和日期这样的选择都会改变结果,所以必须报告出来。
  • 更大并不自动意味着更好:规模能减少随机误差,却不能减少偏差。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。