课程大纲 第 105 课,共 156 课 · 网络指纹
网络指纹

HTTP/2 与请求头指纹

为什么重要 即使 TLS 指纹完全相同,浏览器发出的最初几条 HTTP/2 消息以及它的请求头顺序,在不同浏览器之间也是不同的。检测系统用这一点来检查一个客户端是否真的是它的 User-Agent 所声称的那个浏览器。你将区分三个模拟的浏览器,并抓住一个假装成其中之一的脚本。

两个人可以穿着同样的制服,但仍然能从他们填表的方式上区分开来:他们写东西的顺序,先勾选哪些框。HTTP/2 开场就是一张每个浏览器都以自己的方式填写的表格。

HTTP/2:HTTP 的一个较新版本,如今浏览器在大多数 HTTPS 网站上都使用它,与更新的 HTTP/3 并存。它在一条连接上把请求作为叫作帧的小型二进制消息发送,并且需要在握手中使用 ALPN h2。

帧:一条 HTTP/2 消息。SETTINGS 帧宣布各种限制,WINDOW_UPDATE 帧说明浏览器准备好接收多少数据,而 HEADERS 帧携带一个请求的请求头。

开场透露了什么

  • SETTINGS。一个由 (id, value) 对组成的列表,比如表示表大小的 (1, 32768),或表示窗口大小的 (4, 4194304)。出现哪些设置、它们的值以及它们的顺序,都由浏览器的代码决定。
  • WINDOW_UPDATE。一个数字:浏览器愿意额外接收多少数据。
  • 优先级。浏览器如何说明哪些请求最重要。各个浏览器的做法不同。
  • 伪请求头的顺序。每个 HTTP/2 请求都以四个特殊的请求头开始::method、:authority(网站)、:scheme 和 :path。协议没有规定它们的顺序,所以每个浏览器各选一种。
  • 请求头的顺序。普通的请求头,比如 user-agent 和 accept,也以浏览器特有的顺序出现。

用一行来比较

一种常见的记录方式是一行文本,由 | 分隔成四个部分:

1:32768;3:250;4:4194304;6:131072|10420225|0|m,s,a,p
 settings (id:value;...)         window  prio pseudo-header initials

首字母就是冒号后面的第一个字母::method 变成 m。

请求头的顺序和大小写:明面上的隐藏

在 HTTP/2 里,请求头名称必须以小写发送。在较老的 HTTP/1.1 里,大小写由发送方决定,所以 User-Agent 和 user-agent 的区别本身就能区分不同的客户端。顺序在两者里都有效。在我们的世界里,Brook 和 Cobalt 构建在同一个虚构的引擎上:它们的 HTTP/2 设置行完全相同,只有请求头的顺序不同。所以你需要两者才能把它们区分开。

User-Agent 声明:user-agent 请求头只是客户端关于自己写的一段文本。任何程序都能复制它。握手和 HTTP/2 的细节更难被无意中伪造,所以检测器会把它们和这个声明进行比较。

练习世界为 Brook、Cobalt 和 Fennel 提供了 h2_connection(name, seed),外加 "Toolkit":一个虚构的脚本,它复制了 Brook 的 User-Agent,却用自己的方式开启 HTTP/2。每条连接都是一个字典,包含 settings、window_update、priority、pseudo_headers、headers(一个由 (name, value) 对组成的列表)和 user_agent。所有的值都是虚构的。

要把这些对连接成文本:";".join("%d:%d" % (k, v) for k, v in pairs)。要取 "Brook/31.0" 中斜杠之前的名字:ua.split("/")[0]。

用其他语言实现

在其他语言里构建这一行的设置部分:

// JavaScript
const settings = conn.settings.map(([k, v]) => `${k}:${v}`).join(";");
const pseudo = conn.pseudo_headers.map(h => h[1]).join(",");
const line = [settings, conn.window_update, conn.priority, pseudo].join("|");
// Go
parts := []string{}
for _, s := range conn.Settings {
    parts = append(parts, fmt.Sprintf("%d:%d", s.ID, s.Value))
}
settings := strings.Join(parts, ";")
// C#
var settings = string.Join(";", conn.Settings.Select(s => $"{s.Id}:{s.Value}"));

防御

对普通用户来说,保护方式和 TLS 一样:使用一个常见的、最新的浏览器,让你的 HTTP/2 开场与数百万人相同。对网站构建者来说:如果你用这些信号来对抗欺诈,就用它们来增加一点阻力(比如第二次检查),永远不要把它们当作一个人身份的证明,也永远不要用它们给人建立画像。

回顾

  • 浏览器的 HTTP/2 开场(设置、窗口大小、优先级、伪请求头顺序)是一种指纹。
  • 请求头的顺序,以及在 HTTP/1.1 里请求头的大小写,会提供更多信息。
  • 构建在同一个引擎上的两个浏览器,可能共享设置,只在请求头顺序上不同。
  • 检测器把这些信号和 User-Agent 声明进行比较,以发现名不副实的客户端。
轮到你了

编写六个简短的函数:

  1. h2_fingerprint(conn):设置写成 id:value 并用 ; 连接,然后是 |、window_update、|、priority、|,以及用 , 连接的伪请求头首字母(冒号后面的那个字符)。
  2. header_order(conn):请求头名称,按顺序用 , 连接。
  3. full_fingerprint(conn):h2_fingerprint(conn) + "|" + header_order(conn)。
  4. learn(training):根据一个由 (name, conn) 对组成的列表,返回一个把每个 full_fingerprint 映射到它的名字的字典。
  5. identify(conn, known):这条连接的完整指纹在 known 中对应的名字,或者 "unknown"。
  6. claim_matches(conn, known):如果 identify 给出的名字和 User-Agent 声明的名字(conn["user_agent"] 中 / 之前的文本)相同,就返回 True,否则返回 False。
底部的报告已经替你写好了。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。