找出隐藏的跟踪器
为什么重要 最让研究者担心的跟踪器,是那些会躲藏的:藏在你自己网站的名字后面、藏在一个你从没注意到的重定向里,或者藏在一个根本不设置 Cookie 的脚本里。简单的第三方计数会漏掉它们。这个实验在你的爬取数据中找出三种。
想想一家商店,那里的保安穿着商店自己的制服,但其实受雇于别人。一个在数“外来人员”的访客永远不会发现他们。隐藏的跟踪器就是这样运作的。
1. CNAME 伪装
DNS:互联网的地址簿:它把像 m.calmriver.example 这样的名字变成一台计算机的地址。
CNAME:一条 DNS 记录,表示“这个名字其实是另一个名字”。m.calmriver.example 可以是 c.cloakco.example 的一个 CNAME,所以这个请求看起来是第一方的,却到达了一个跟踪器。
CNAME 伪装:一个跟踪器通过 CNAME 藏在一个网站自己的子域名后面,这样拦截列表和第三方 Cookie 规则看到的就是一个第一方的名字。
在爬取记录里,每个请求都有 cname:DNS 说这个主机真正指向的地方,或者 None。一个被伪装的请求,它的主机在页面自己的站点上,而它的 CNAME 指向一个列表中的跟踪器。要小心:许多网站会把子域名指向像 edge.cdn.example 这样的内容分发网络。那是正常的,所以要把 CNAME 的站点和 TRACKER_LIST 进行核对。
Safari 会把通过 CNAME 伪装的响应设置的 Cookie 限制在 7 天,而 Firefox 允许拦截扩展程序查询 CNAME 来揭开伪装;Chrome 扩展程序没法做这种查询(2026 年 10 月核实)。
2. 跳转链
当你点击一个链接时,它可能会在途中经过一个跟踪器的重定向,让跟踪器设置或读取它自己的第一方 Cookie。你在第 6 阶段见过跳转跟踪;这里你要大规模地统计它。每条记录都有 click_chain:爬虫在点击页面的第一个外链之后经过的 URL。如果一个中间跳的站点既不同于起始站点、也不同于最终站点,它就是一次跳转。一个网站通过它自己的 /out 页面重定向,不算跳转。
3. 指纹识别脚本
一个插了桩的爬虫会在 scripts 中记录每个脚本使用了哪些浏览器功能。按照已发表研究的做法,当一个脚本既读回了一幅图画或一段声音(CANVAS_READS),又读取了至少 4 种不同的设备特征(TRAIT_APIS)时,它就是可疑的。一个只导出你图画的绘图应用虽然使用了 canvas,但读取的特征很少,所以它不算。
from watched.leg7b_web import CANVAS_READS, TRAIT_APIS
apis = ["canvas.toDataURL", "navigator.userAgent", "screen.width",
"navigator.languages", "Intl.timeZone"]
reads_canvas = any(a in CANVAS_READS for a in apis)
traits = {a for a in apis if a in TRAIT_APIS} # a set: each trait once
print(reads_canvas, len(traits)) # True 4留意那些从网站自己的主机提供的指纹识别。没有任何第三方列表能抓住它;只有行为才能。
一个常见的误解:“如果我的拦截器显示零个第三方跟踪器,就没有东西在跟踪我。”伪装的、跳转的以及第一方的指纹识别跟踪器,都能溜过一份第三方名称列表。基于行为的检查,就像你在这里写的那些,才是浏览器和研究者找到它们的方式。
用其他语言实现
用 JavaScript 和 PHP 实现指纹识别规则:
// JavaScript
function isFingerprinting(apis) {
const readsCanvas = apis.some(a => CANVAS_READS.includes(a));
const traits = new Set(apis.filter(a => TRAIT_APIS.includes(a)));
return readsCanvas && traits.size >= 4;
}// PHP
function is_fingerprinting(array $apis): bool {
$reads = count(array_intersect($apis, CANVAS_READS)) > 0;
$traits = count(array_unique(array_intersect($apis, TRAIT_APIS)));
return $reads && $traits >= 4;
}回顾
- CNAME 伪装把一个跟踪器藏在网站自己的子域名后面;要检查 CNAME 真正指向哪里。
- 跳转是重定向中的一跳,它所在的站点既不是你出发的地方,也不是你最终到达的地方。
- 指纹识别会在行为上表现出来:一次 canvas 或音频读回,加上许多设备特征。
- 行为能找到名称列表漏掉的东西,包括第一方的指纹识别。
针对爬取记录编写五个函数:
cloaked_hosts(load, tracker_list):页面自己站点上那些设置了cname、并且 CNAME 的站点在tracker_list中的不重复请求主机,组成的排好序的列表。bounce_hops(load):从load["click_chain"]中,取出那些既不同于第一个 URL 的站点、也不同于最后一个 URL 的站点的中间跳的站点(如果链短于 3,就返回空列表)。is_fingerprinting(apis):如果有任何一个 API 在CANVAS_READS中,并且至少有 4 个不同的 API 在TRAIT_APIS中,就为真。fingerprinting_scripts(load):load["scripts"]中通过了那项测试的脚本的 URL。hidden_report(loads, tracker_list):一个字典,统计具有每种情况的网站数:"cname_cloaking"、"bounce"、"fingerprinting"和"first_party_fingerprinting"(页面自己站点上的一个指纹识别脚本)。
report。测试还会爬取其他的模拟网络。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。