课程大纲 第 104 课,共 156 课 · 网络指纹
网络指纹

TLS 指纹(JA3 和 JA4)

为什么重要 机器人和欺诈检测,以及一些跟踪者,通过对浏览器的 ClientHello 做哈希来认出浏览器。亲手写出两个最著名的配方,能准确地展示一个浏览器如何在任何页面加载之前就被认出来,以及为什么 2023 年的一次浏览器改动让较老的那个配方失效了。

这里的指纹就像通过一个人列举自己技能的确切顺序来描述他。把清单写下来,压缩成一个短代码,你就能比较代码,而不必比较长长的清单。

哈希:一种把任何文本压缩成固定长度短代码的函数。同样的文本总是得到同样的代码;不同的文本得到不同的代码。MD5 和 SHA-256 是 Python 的 hashlib 里的两种哈希函数。

JA3:按顺序把一切连起来,再做哈希

JA3 于 2017 年发布,它把五个字段写成十进制数字,把每个列表用短横线连接,再把五个字段用逗号连接,然后取 MD5 哈希。GREASE 值会被排除在外。

version,ciphers,extensions,groups,point_formats
771,4866-4865-4867-49196,0-10-11-13-16,29-23-25-24,0     (shortened)
md5 -> a 32-character hex code

因为它保留了顺序,两个以不同顺序提供同样功能的浏览器会得到不同的 JA3 代码。这曾经是一个优点,直到浏览器发生了变化。

2023 年的改动:打乱的扩展

从 Chrome 110(2023 年初)开始,Chrome 在每次连接时都以随机的顺序排列它的 TLS 扩展(2026 年 10 月核实)。目的是阻止服务器依赖某一个固定的顺序,因为那会让协议更难改进。一个副作用是:Chrome 的 JA3 代码几乎每次连接都不一样,所以 JA3 再也没法把它认作同一个东西了。

JA4:先排序,再做哈希

JA4 于 2023 年发布,它在哈希之前先对密码套件和扩展进行排序,从而解决了这个问题,所以打乱顺序也没有影响。它还以一个简短的可读部分开头。一个 JA4 代码的形状是这样的(这里的两个哈希值是编造的):t13d1516h2_1a2b3c4d5e6f_0f9e8d7c6b5a:

  • t 表示 TCP,13 表示 TLS 1.3,d 是因为发送了域名(没有则为 i),15 个密码套件,16 个扩展,h2 来自第一个 ALPN 值的首尾字符。
  • 然后是排好序的密码套件的 SHA-256 的前 12 个十六进制字符。
  • 然后是来自排好序的扩展的 12 个字符(不包括服务器名称和 ALPN,因为它们取决于网站,而不是浏览器)。

我们的实验构建的是一个由同样三部分组成的简化的 JA4 风格代码。真正的 JA4 还在最后一部分里包含签名算法;为了简短,我们把它们省略了。给构建者的一条许可说明:JA4(TLS 客户端指纹)采用 BSD 许可证,而 JA4+ 家族的其余大部分采用 FoxIO 许可证(2026 年 10 月核实)。

你需要的 Python

import hashlib
hashlib.md5("abc".encode()).hexdigest()          # 32 hex characters
hashlib.sha256("abc".encode()).hexdigest()[:12]  # first 12
"-".join(str(n) for n in [771, 4865])            # '771-4865'
"%04x" % 4865                                     # '1301' (4-digit hex)
"%02d" % 7                                        # '07'

练习世界为三个虚构的浏览器提供了 client_hello(browser, connection, seed):Brook(加入 GREASE 并打乱扩展)、Cobalt(加入 GREASE,顺序固定)和 Fennel(两者都不做)。它们的数字是真实的注册表代码,但组合方式是任何真实浏览器都不使用的,所以这里没有任何东西模仿真实的浏览器。GREASE 是 GREASE 值的集合。

用其他语言实现

许多语言里的指纹识别工具都会计算 JA3 和 JA4。下面是其中几种语言里的 JA3 核心代码:

// JavaScript (Node.js)
const crypto = require("crypto");
const clean = xs => xs.filter(x => !GREASE.has(x)).join("-");
const s = [h.version, clean(h.ciphers), clean(h.extensions),
           clean(h.groups), clean(h.point_formats)].join(",");
const ja3 = crypto.createHash("md5").update(s).digest("hex");
// Go
sum := md5.Sum([]byte(s))
ja3 := hex.EncodeToString(sum[:])
// sorting for JA4: sort.Slice(ciphers, func(i, j int) bool { return ciphers[i] < ciphers[j] })
// Rust (sha2 crate)
use sha2::{Digest, Sha256};
let mut c = ciphers.clone();
c.sort();
let text = c.iter().map(|n| format!("{:04x}", n)).collect::<Vec<_>>().join(",");
let part_b = &format!("{:x}", Sha256::digest(text.as_bytes()))[..12];

防御

你没法不发送 ClientHello。保护普通人的是保持常见:一个最新的、流行的浏览器与数百万人共享同一个指纹,所以它几乎透露不了关于你的信息。一个不寻常的配置,比如一个老旧的或经过大量修改的浏览器,就会很显眼。第 106 课会回到这一点。

回顾

  • JA3 按顺序把 ClientHello 的字段连起来并取 MD5;它会跳过 GREASE。
  • Chrome 从 Chrome 110(2023 年初)开始打乱扩展顺序,这让它的 JA3 每次连接都会变化。
  • JA4 在哈希之前对密码套件和扩展进行排序,所以顺序的变化没有影响。
  • 一个常见的、最新的浏览器与许多人共享它的指纹,这才是真正的保护。
轮到你了

每个 hello 都是一个来自 client_hello(...) 的字典,包含 version、supported_versions、ciphers、extensions、groups、point_formats、sni 和 alpn。编写四个函数:

  1. strip_grease(values):一个去掉了 GREASE 中所有值的新列表,保持原来的顺序。
  2. ja3_string(hello):先是 version,然后是 ciphers、extensions、groups 和 point_formats,每一个都去掉 GREASE 并用 - 连接;这五个字段用 , 连接。
  3. ja3(hello):ja3_string(hello) 的 MD5 十六进制摘要。
  4. ja4_style(hello):三个部分用 _ 连接。a 部分是 t,然后如果 772 在 supported_versions 中就是 13,否则是 12,然后如果设置了 sni 就是 d,否则是 i,然后是密码套件数和扩展数(去掉 GREASE),各写成两位数字,然后是第一个 ALPN 值的首尾字符(如果列表为空就是 00)。b 部分是排好序的密码套件的 SHA-256 十六进制摘要的前 12 个字符,每个密码套件写成 4 位十六进制("%04x")并用 , 连接。c 部分对排好序的扩展做同样的事,但去掉 0 和 16。
底部打印的比较已经替你写好了。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。