在没有列表的情况下检测跟踪器
为什么重要 一份列表只知道那些已经有人发现并写下来的跟踪器。每周都有新的跟踪器出现,而有些会故意改名。根据跟踪器的行为认出它,能抓住那些还没有任何列表听说过的跟踪器。
不看照片也能认出扒手
一位拿着已知扒手名单的商店保安很有用。但一位好保安还会观察行为:有人走遍了街上的每一家商店,记下谁进去了。你不需要知道他们的名字,就能看出他们在做什么。
跟踪器也有暴露身份的行为。在这一课里,你要在浏览器的请求日志里寻找三条线索:
- 同时无处不在。同一个第三方站点出现在两个或更多不同的网站上。正是这一点让它能把你的访问拼接起来。
- 地址里有一个独一无二的 ID。一个看起来随机的查询值,比如
cid=df0641532d7f:那是你的一个名牌。 - 一个像素。一张 100 字节或更小的“图片”,小到什么都显示不了。它唯一的作用就是让你的浏览器发出一个请求。
启发式规则:一条通常是对的、但并不总是对的经验法则,比如“乌云意味着要下雨”。启发式规则能抓住新的东西,也可能被骗。
我们的规则是:如果线索 1 为真,并且线索 2 或 3 至少有一个为真,那么一个站点就是跟踪器。要求线索 1 能让无害的 cdn.example 保持安全:它出现在每一家商店上,但它不发送任何 ID,而且它的徽标是一张真正的 2 KB 图片。
随机到什么程度才算随机?简单讲讲熵
要把一个 ID 和一个普通的词区分开,我们要衡量它的字符有多混乱。aaaa 一点都不混乱。abcd 均匀地使用了四个不同的字符。
香农熵:一个以比特为单位、表示某样东西有多不可预测的数字。对于一段文本:对每一个不同的字符,取它在文本中所占的比例 p,然后把 -p * log2(p) 加起来。种类越多,比特越多。
char_entropy("aaaa") # 0.0 every character is the same
char_entropy("abab") # 1.0 two characters, half each
char_entropy("abcd") # 2.0 four characters, a quarter eachmath.log2(p) 就是“我要把 1 减半多少次才能得到 p”,以一个负数给出,这就是为什么前面有一个负号。collections.Counter(text) 会替你统计每一个字符。你会在下一个模块里再次遇到这个公式,届时它被应用于整群的浏览器。
只有熵还不够:trail-shoes 也相当混乱。所以 looks_like_id 还要求至少 8 个字符,只包含字母、数字、- 或 _,并且至少有一个字母和一个数字。单词通不过数字这项测试;日期和 URL 通不过字母或字符那项测试。
读懂日志
browser.log 中的每一条 record 都有你需要的东西:
site_of(record.url)和record.top_site:如果它们不同,就是第三方。record.request.params:作为一个字典的查询,已经解码。record.response:如果被拦截了就是None;否则有.header("Content-Type")以及以字节为单位的.size。
诚实的局限
一个在你的日志中只出现在一个网站上的跟踪器会被漏过,即使它出现在成千上万个你还没访问过的网站上。一个把 ID 藏在 Cookie 里、并发送一张普通大小图片的跟踪器也会溜过去。而一个把 ID 发给它自己网站的第一方分析脚本,根本就不是第三方。这就是为什么真正的拦截器会同时使用列表和启发式规则。
试一试 打开 DevTools(F12,在 Mac 上按 Cmd+Option+I),进入 Network 标签页,按 Img 过滤,然后加载一个新闻网站。按 Size 排序。Size 列也会计入响应头,所以一个图片本身只有几十字节的像素,仍然会显示为几百字节。任何来自另一个网站、这么小的图片,都很可能是一个像素。点击其中一个,看看它的查询字符串里有没有一个很长的随机值。
用其他语言实现
JavaScript:
function charEntropy(text) {
if (!text) return 0;
const counts = {};
for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
let bits = 0;
for (const n of Object.values(counts)) {
const p = n / text.length;
bits -= p * Math.log2(p);
}
return bits;
}
const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
&& /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;C#:
static double CharEntropy(string text) =>
text.Length == 0 ? 0 :
-text.GroupBy(c => c)
.Select(g => (double)g.Count() / text.Length)
.Sum(p => p * Math.Log2(p));回顾
- 行为会暴露跟踪器:出现在许多网站上、发送随机 ID、获取像素。
- 香农熵衡量一段文本有多混乱;随机 ID 的得分很高。
- 要求“出现在 2 个或更多网站上”能保护像 CDN 这样的无害帮手。
- 启发式规则能抓住新的跟踪器,但会漏掉一些;真正的拦截器会把它们和列表结合起来。
编写 char_entropy(text)(以每字符比特为单位的香农熵,空文本为 0.0)、looks_like_id(value)(至少 8 个字符,全部在 ID_CHARS 中,至少有一个数字和一个字母,熵至少为 2.0)、is_pixel(record)(一个 Content-Type 以 image/ 开头、大小为 100 字节或更小的响应),以及 find_trackers(log),返回那些作为第三方出现在至少 2 个不同顶层站点上、并且发送过一个类似 ID 的查询值或收到过一个像素的站点组成的集合。不要使用 watched.reference。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。