哈希不等于匿名化
为什么重要 公司常常说它们只分享“哈希过的”电子邮件地址,好像这样就能让它们变得匿名。在这个实验里,你将在一瞬间破解一份哈希过的列表,用的是合成的电子邮件。一旦你亲眼见过,你再读到“我们只分享哈希过的数据”时,感受就会完全不同。
一台单向的搅拌机
把哈希想象成一台搅拌机:放进一颗草莓,你每次都会得到同样的粉色奶昔,但你没法把奶昔变回草莓。这听起来很安全。问题在于:如果你怀疑那是一颗草莓,你就自己搅一颗来比较。
哈希:一种把任何文本变成固定长度指纹的函数,同样的输入每次都得到同样的结果。SHA-256 给出 64 个十六进制字符。你没法把它倒过来运行。
暴力破解:尝试每一个可能的输入,直到有一个匹配为止。只要可能的输入列表小到可以逐一尝试,它就有效。
为什么它不是匿名的
电子邮件被哈希,恰恰是为了让两家公司能够匹配它们:两家都对 sam.smith@mail.example 做哈希,得到同样的 64 个字符。广告业里的哈希电子邮件 ID 就是这样运作的。哈希是这个人的一个稳定 ID,而不是一层伪装。
而且电子邮件并没有那么多。我们的练习邮件系统只发放 first.last@domain 或 firstNN@domain 形式的地址,来自 30 个名、30 个姓和 3 个域名:总共 11,610 个可能的地址。把它们全部哈希一遍只需要一眨眼。真实的地址空间要大得多,但数据经纪商手里已经有大量真实地址的列表,所以他们只需要对手头的地址做哈希并进行比较。
计划
normalise(email):去掉空格并转成小写。每个人在哈希之前都会这样做,所以Sam.Smith@Mail.Example和sam.smith@mail.example能够匹配。sha256_hex(text):hashlib.sha256(text.encode("utf-8")).hexdigest()。.encode把文本变成字节,而那正是哈希函数要“吃”的东西。all_candidates():遍历域名、名和姓,列出每一个可能的地址。crack(hashes):只构建一次一个从每个候选地址的哈希到该候选地址的字典,然后查找每个泄露的哈希。只构建一次很重要:为 200 个泄露的哈希中的每一个都把 11,610 个地址哈希一遍,会慢 200 倍。
查找表:一个用你可能需要的答案提前构建好的字典,这样每个问题一步就能回答。攻击者会为常见密码和电子邮件列表构建这样的表。
一个常见的误解
“SHA-256 是牢不可破的,所以哈希过的数据是安全的。”SHA-256 在它的本职工作上没问题:没有人能把它倒过来运行。弱点在于输入:当可能的输入可以被一一列出时,你根本不需要把它倒过来运行。电话号码是一个众所周知的例子:一个国家的所有号码加起来也就几十亿种可能,少到一台快速的计算机可以逐一尝试。
提醒:这只能在合成地址上运行。对真实的人的数据这样做,正是本模块教你去防止的伤害,而下一课就是防御。
试一试 给它计时:在调用 crack 的前后各用一次 time.perf_counter()。在大多数笔记本电脑上,处理 11,610 个候选地址远不到一秒就能完成。
用其他语言实现
JavaScript(Node):
const { createHash } = require("crypto");
const sha256 = t => createHash("sha256").update(t, "utf8").digest("hex");
const lookup = new Map(allCandidates().map(e => [sha256(e), e]));
const found = leaked.filter(h => lookup.has(h)).map(h => [h, lookup.get(h)]);PHP:
$lookup = [];
foreach (all_candidates() as $e) { $lookup[hash('sha256', $e)] = $e; }
$found = array_intersect_key($lookup, array_flip($leaked));回顾
- 同样的输入总是得到同样的哈希,这让它成为一个稳定的 ID,而不是一层伪装。
- 当可能的输入可以被一一列出时,就把它们全部哈希一遍再比较:暴力破解。
- 只构建一次查找表,之后每个哈希只需要一次字典查找。
- “我们只分享哈希过的电子邮件”仍然是在分享一个人。防御在下一课。
编写 normalise(email)(去掉空格并转成小写)、sha256_hex(text)(UTF-8 文本的 SHA-256 十六进制摘要)、all_candidates()(一个列表,包含每一个 first.last@domain 和 firstNN@domain 地址,NN 从 1 到 99,使用 FIRST_NAMES、LAST_NAMES 和 MAIL_DOMAINS)以及 crack(hashes)(一个字典 {hash: email},包含你能还原的每一个哈希)。然后设 found = crack(leaked)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。