审计一个网站的第三方
为什么重要 你没法修复你没清点过的东西。在修改网站上的任何东西之前,隐私工程师会捕获一次页面加载,并列出它联系过的每一台外部服务器。在这个练习里,你将用几行 Python 亲手写出这样的审计,并且会在第 3 阶段的项目里再次用到这个想法。
想想咖啡馆门口的访客登记簿。一天结束时,你翻阅它并问:谁进来过,来了多少次,有没有人留下了什么东西?请求日志就是网站的访客登记簿。
HAR 文件:HTTP Archive(HTTP 存档)的缩写。DevTools 可以把一个页面发出的每个请求保存到一个文件里(Network 标签页,右键,“Save all as HAR”)。每个条目列出 URL、请求的类型、它的请求头、状态码以及设置的任何 Cookie。我们的练习浏览器用 browser.har() 以字典列表的形式给你同样的东西。
练习世界里的一个条目看起来是这样的(有删减):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}真正的 HAR 文件没有 top_site;你需要从页面的 URL 里读出它。我们的日志把它加上,是为了让代码保持简短。
审计要回答的三个问题
- 这个请求是发给第三方的吗?把 URL 的站点和
top_site比较。要用站点,而不是完整的主机名:img.shopb.example属于shopb.example,所以它是第一方。 - 每个外部主机拿到了多少?统计它的请求数,并记下它是否设置了 Cookie。
- 谁能跨网站看到人?一个出现在两个或更多不同
top_site值下面的主机,就能把访问联系起来。这些是要首先关注的。
练习世界里的两个辅助函数会替你处理 URL:host_of(url) 给出主机名("img.shopb.example"),site_of(url) 给出可注册的站点("shopb.example")。
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.example要按主机统计数量,字典方法 setdefault(key, default) 很好用:它返回 key 对应的值,如果这个键是新的,就先存入 default。
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}一个常见的误解:“不设置 Cookie 的主机就是无害的”。一个出现在每个网站上的主机每次都能看到 IP 地址和浏览器,而且可以用 URL 代替 Cookie 来传递它自己的 ID。要统计请求和网站,而不只是 Cookie。
用其他语言实现
对从 DevTools 导出的 HAR 文件做同样的审计。真正的 HAR 文件把条目放在 log.entries 下面。
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());要正确判断站点,需要用到公共后缀列表(Public Suffix List),这样 a.co.uk 才不会被当成 co.uk 的一部分。用一个库,比如 JavaScript 里的 tldts 或 Go 里的 golang.org/x/net/publicsuffix,而不要按点号切分。
回顾
- 请求日志(HAR)是网站的访客登记簿:一次页面加载联系过的每一台外部服务器。
- 第三方指的是和地址栏不同的站点,而不只是不同的主机名。
- 出现在几个不同网站下的主机,才是能把访问联系起来的那些。
初始代码已经替你捕获了一份练习日志:Sam 浏览了 12 个商店页面,同时 AdCo 设置了一个 ID Cookie。编写三个函数:
is_third_party(entry):当site_of(entry["url"])和entry["top_site"]不同时返回True,否则返回False。audit(har):遍历这个列表,为每一个第三方条目构建一个以host_of(entry["url"])为键的字典。每个值是一个字典,包含"requests"(有多少个条目发往那个主机)、"sites"(它出现过的不同top_site值组成的排好序的列表)以及"sets_cookies"(如果它的任何条目有非空的set_cookies列表,就为True)。返回这个字典。第一方条目不计入。watchers(report):给定audit返回的字典,返回出现在两个或更多网站下的主机组成的列表,按字母顺序排序。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。