课程大纲 第 71 课,共 156 课 · 你自己网站上的第三方
你自己网站上的第三方

审计一个网站的第三方

为什么重要 你没法修复你没清点过的东西。在修改网站上的任何东西之前,隐私工程师会捕获一次页面加载,并列出它联系过的每一台外部服务器。在这个练习里,你将用几行 Python 亲手写出这样的审计,并且会在第 3 阶段的项目里再次用到这个想法。

想想咖啡馆门口的访客登记簿。一天结束时,你翻阅它并问:谁进来过,来了多少次,有没有人留下了什么东西?请求日志就是网站的访客登记簿。

HAR 文件:HTTP Archive(HTTP 存档)的缩写。DevTools 可以把一个页面发出的每个请求保存到一个文件里(Network 标签页,右键,“Save all as HAR”)。每个条目列出 URL、请求的类型、它的请求头、状态码以及设置的任何 Cookie。我们的练习浏览器用 browser.har() 以字典列表的形式给你同样的东西。

练习世界里的一个条目看起来是这样的(有删减):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

真正的 HAR 文件没有 top_site;你需要从页面的 URL 里读出它。我们的日志把它加上,是为了让代码保持简短。

审计要回答的三个问题

  1. 这个请求是发给第三方的吗?把 URL 的站点和 top_site 比较。要用站点,而不是完整的主机名:img.shopb.example 属于 shopb.example,所以它是第一方。
  2. 每个外部主机拿到了多少?统计它的请求数,并记下它是否设置了 Cookie。
  3. 谁能跨网站看到人?一个出现在两个或更多不同 top_site 值下面的主机,就能把访问联系起来。这些是要首先关注的。

练习世界里的两个辅助函数会替你处理 URL:host_of(url) 给出主机名("img.shopb.example"),site_of(url) 给出可注册的站点("shopb.example")。

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

要按主机统计数量,字典方法 setdefault(key, default) 很好用:它返回 key 对应的值,如果这个键是新的,就先存入 default。

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

一个常见的误解:“不设置 Cookie 的主机就是无害的”。一个出现在每个网站上的主机每次都能看到 IP 地址和浏览器,而且可以用 URL 代替 Cookie 来传递它自己的 ID。要统计请求和网站,而不只是 Cookie。

用其他语言实现

对从 DevTools 导出的 HAR 文件做同样的审计。真正的 HAR 文件把条目放在 log.entries 下面。

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

要正确判断站点,需要用到公共后缀列表(Public Suffix List),这样 a.co.uk 才不会被当成 co.uk 的一部分。用一个库,比如 JavaScript 里的 tldts 或 Go 里的 golang.org/x/net/publicsuffix,而不要按点号切分。

回顾

  • 请求日志(HAR)是网站的访客登记簿:一次页面加载联系过的每一台外部服务器。
  • 第三方指的是和地址栏不同的站点,而不只是不同的主机名。
  • 出现在几个不同网站下的主机,才是能把访问联系起来的那些。
轮到你了

初始代码已经替你捕获了一份练习日志:Sam 浏览了 12 个商店页面,同时 AdCo 设置了一个 ID Cookie。编写三个函数:

  1. is_third_party(entry):当 site_of(entry["url"]) 和 entry["top_site"] 不同时返回 True,否则返回 False。
  2. audit(har):遍历这个列表,为每一个第三方条目构建一个以 host_of(entry["url"]) 为键的字典。每个值是一个字典,包含 "requests"(有多少个条目发往那个主机)、"sites"(它出现过的不同 top_site 值组成的排好序的列表)以及 "sets_cookies"(如果它的任何条目有非空的 set_cookies 列表,就为 True)。返回这个字典。第一方条目不计入。
  3. watchers(report):给定 audit 返回的字典,返回出现在两个或更多网站下的主机组成的列表,按字母顺序排序。
最后打印每个旁观者及其请求数。测试会使用其他日志,所以答案没法手工填进去。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。