课程大纲 第 146 课,共 156 课 · 像研究者一样测量网络
像研究者一样测量网络

爬取模拟网络

为什么重要 计数能把一种模糊的担忧(“跟踪器无处不在”)变成一个你可以核查和重复的事实。在这个实验里,你将在 1,000 个模拟网站上运行一次真实风格的爬取,并构建每一项跟踪研究开始时都要构建的那张表:出现了哪些第三方,以及出现在多少个网站上。

一次爬取就像商店里的一次盘点:走遍每一条通道,记下每一件商品,然后加起来。这里的每一条通道都是一个网站,而每一件商品都是页面发出的一个请求。

模拟网络

来自 watched.leg7b_web 的 SimWeb(seed) 会生成 1,000 个按受欢迎程度排名的虚构网站。web.sites 列出它们的名字,而 web.visit(site) 返回一个插了桩的爬虫记录下来的东西:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

第三方:页面联系的、除你正在访问的那个网站之外的另一个网站。如果你访问 calmriver.example,而它加载了 t.adco.example,那么第三方就是 adco.example。

可注册域名(站点):主机名中由一个所有者控制的那部分,比如 t.adco.example 对应的 adco.example。site_of(host) 会替你算出它;你在第 6 阶段亲手写过它。

普及率:某样东西有多普遍:在这里,就是一个第三方出现在其上的被爬取网站的数量(或比例)。

用字典计数,用键排序

集合会让每个值只保留一次,这非常适合“这个页面联系了哪些第三方”。要在多个页面之间计数,就用一个字典,为一个第三方出现的每个页面加一。要对这张表排序,就用一个 key 对它的条目排序:一个说明按什么排序的函数。

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

注意,一个第三方在每个网站上只算一次,无论它在那里发出了多少请求。一个在一个网站上触发了十个像素的跟踪器,仍然只算出现在一个网站上。

TRACKER_LIST 是一份已知跟踪器网站的拦截列表,就像公开的过滤列表给它们打的标签那样。加载了至少一个列表中跟踪器的网站所占的比例,是许多研究的标题数字。

一个常见的误解:“每一个第三方都是跟踪器。”字体、内容分发网络和支付小部件也都是第三方。你的表会显示,一些最常见的第三方是无害的,这就是为什么研究会谨慎地打标签。

用其他语言实现

用 JavaScript(Node)和 Go 统计普及率:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

回顾

  • 一次爬取会访问许多网站,并记录每一个请求;计数把这些变成事实。
  • 用 site_of 把主机归入站点,并让每个第三方在每个网站上只算一次。
  • 用一个键来排序,按普及率排名,平局时按名称决定。
  • 不是每个第三方都是跟踪器;用一份列表来打标签,并说明你用的是哪份列表。
轮到你了

编写五个函数:

  1. third_parties(load):页面联系过的站点(site_of(request["host"]))组成的集合,不包括 load["site"]。
  2. prevalence(loads):一个从第三方站点到它出现的加载次数的字典。
  3. top(table, n):最大的 n 个 (site, count) 对,最大的在前,平局按字母顺序。
  4. cookie_setters(loads):至少有一个 sets_cookie 为真的请求的第三方站点组成的集合。
  5. tracker_share(loads, tracker_list):联系了 tracker_list 中至少一个站点的加载所占的比例。
然后按顺序,为 web.sites 中的每个网站调用 web.visit(site),填满 loads。测试还会爬取其他的模拟网络。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。