课程大纲 第 48 课,共 156 课 · 构建一个拦截器
构建一个拦截器

在没有列表的情况下检测跟踪器

为什么重要 一份列表只知道那些已经有人发现并写下来的跟踪器。每周都有新的跟踪器出现,而有些会故意改名。根据跟踪器的行为认出它,能抓住那些还没有任何列表听说过的跟踪器。

不看照片也能认出扒手

一位拿着已知扒手名单的商店保安很有用。但一位好保安还会观察行为:有人走遍了街上的每一家商店,记下谁进去了。你不需要知道他们的名字,就能看出他们在做什么。

跟踪器也有暴露身份的行为。在这一课里,你要在浏览器的请求日志里寻找三条线索:

  1. 同时无处不在。同一个第三方站点出现在两个或更多不同的网站上。正是这一点让它能把你的访问拼接起来。
  2. 地址里有一个独一无二的 ID。一个看起来随机的查询值,比如 cid=df0641532d7f:那是你的一个名牌。
  3. 一个像素。一张 100 字节或更小的“图片”,小到什么都显示不了。它唯一的作用就是让你的浏览器发出一个请求。

启发式规则:一条通常是对的、但并不总是对的经验法则,比如“乌云意味着要下雨”。启发式规则能抓住新的东西,也可能被骗。

我们的规则是:如果线索 1 为真,并且线索 2 或 3 至少有一个为真,那么一个站点就是跟踪器。要求线索 1 能让无害的 cdn.example 保持安全:它出现在每一家商店上,但它不发送任何 ID,而且它的徽标是一张真正的 2 KB 图片。

随机到什么程度才算随机?简单讲讲熵

要把一个 ID 和一个普通的词区分开,我们要衡量它的字符有多混乱。aaaa 一点都不混乱。abcd 均匀地使用了四个不同的字符。

香农熵:一个以比特为单位、表示某样东西有多不可预测的数字。对于一段文本:对每一个不同的字符,取它在文本中所占的比例 p,然后把 -p * log2(p) 加起来。种类越多,比特越多。

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p) 就是“我要把 1 减半多少次才能得到 p”,以一个负数给出,这就是为什么前面有一个负号。collections.Counter(text) 会替你统计每一个字符。你会在下一个模块里再次遇到这个公式,届时它被应用于整群的浏览器。

只有熵还不够:trail-shoes 也相当混乱。所以 looks_like_id 还要求至少 8 个字符,只包含字母、数字、- 或 _,并且至少有一个字母和一个数字。单词通不过数字这项测试;日期和 URL 通不过字母或字符那项测试。

读懂日志

browser.log 中的每一条 record 都有你需要的东西:

  • site_of(record.url) 和 record.top_site:如果它们不同,就是第三方。
  • record.request.params:作为一个字典的查询,已经解码。
  • record.response:如果被拦截了就是 None;否则有 .header("Content-Type") 以及以字节为单位的 .size。

诚实的局限

一个在你的日志中只出现在一个网站上的跟踪器会被漏过,即使它出现在成千上万个你还没访问过的网站上。一个把 ID 藏在 Cookie 里、并发送一张普通大小图片的跟踪器也会溜过去。而一个把 ID 发给它自己网站的第一方分析脚本,根本就不是第三方。这就是为什么真正的拦截器会同时使用列表和启发式规则。

试一试 打开 DevTools(F12,在 Mac 上按 Cmd+Option+I),进入 Network 标签页,按 Img 过滤,然后加载一个新闻网站。按 Size 排序。Size 列也会计入响应头,所以一个图片本身只有几十字节的像素,仍然会显示为几百字节。任何来自另一个网站、这么小的图片,都很可能是一个像素。点击其中一个,看看它的查询字符串里有没有一个很长的随机值。

用其他语言实现

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

回顾

  • 行为会暴露跟踪器:出现在许多网站上、发送随机 ID、获取像素。
  • 香农熵衡量一段文本有多混乱;随机 ID 的得分很高。
  • 要求“出现在 2 个或更多网站上”能保护像 CDN 这样的无害帮手。
  • 启发式规则能抓住新的跟踪器,但会漏掉一些;真正的拦截器会把它们和列表结合起来。
轮到你了

编写 char_entropy(text)(以每字符比特为单位的香农熵,空文本为 0.0)、looks_like_id(value)(至少 8 个字符,全部在 ID_CHARS 中,至少有一个数字和一个字母,熵至少为 2.0)、is_pixel(record)(一个 Content-Type 以 image/ 开头、大小为 100 字节或更小的响应),以及 find_trackers(log),返回那些作为第三方出现在至少 2 个不同顶层站点上、并且发送过一个类似 ID 的查询值或收到过一个像素的站点组成的集合。不要使用 watched.reference。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。