ハッシュ化は匿名化ではない
なぜ大切か 会社はよく、共有するのは「ハッシュ化した」メールアドレスだけだと言い、それで匿名になるかのように話します。このラボでは、合成のメールアドレスで、ハッシュ化されたリストを一瞬で元に戻します。一度見てしまえば、「ハッシュ化したデータしか共有していません」という言葉の読み方がまったく変わるでしょう。
一方通行のミキサー
ハッシュをミキサーだと考えてください。イチゴを入れると毎回同じピンクのスムージーが出てきますが、スムージーをイチゴに戻すことはできません。安全そうに聞こえます。落とし穴は、イチゴだったのではと疑ったら、自分でひとつミキサーにかけて比べればいいということです。
ハッシュ:どんなテキストも決まった長さの指紋に変える関数で、同じ入力なら毎回同じになります。SHA-256 は 16 進数 64 文字を出します。逆向きにはたどれません。
総当たり:一致するものが見つかるまで、ありうる入力をすべて試すことです。ありうる入力のリストが試せるほど小さければ、いつでも働きます。
匿名ではない理由
メールアドレスがハッシュ化されるのは、まさに 2 つの会社がそれを照合 できる ようにするためです。どちらも sam.smith@mail.example をハッシュして同じ 64 文字を得ます。広告でのハッシュ化メールアドレスの ID はこう働きます。ハッシュはその人の変わらない ID であって、変装ではありません。
そしてメールアドレスはそれほど多くありません。練習用のメールの仕組みは、30 の名、30 の姓、3 つのドメインから、first.last@domain か firstNN@domain だけを配ります。ありうるアドレスは全部で 11,610 個です。すべてをハッシュするのは一瞬です。本物のアドレスの空間ははるかに大きいですが、データブローカーはすでに本物のアドレスの巨大なリストを持っているので、持っているものをハッシュして比べるだけです。
計画
normalise(email):空白を除き、小文字にします。誰もがハッシュの前にこれを行うので、Sam.Smith@Mail.Exampleとsam.smith@mail.exampleが一致します。sha256_hex(text):hashlib.sha256(text.encode("utf-8")).hexdigest()。.encodeはテキストを、ハッシュ関数が食べるバイト列に変えます。all_candidates():ドメイン、名、姓をループして、ありうるすべてのアドレスを並べます。crack(hashes):各候補のハッシュから候補への辞書を 一度だけ 作り、それから漏れた各ハッシュを探します。一度だけ作るのが大事です。漏れた 200 個のハッシュそれぞれについて 11,610 個のアドレスをハッシュすると、200 倍遅くなります。
対応表(ルックアップテーブル):必要になりそうな答えからあらかじめ作った辞書で、どの問いにも 1 回の手順で答えられます。攻撃者は、よくあるパスワードやメールアドレスのリストについてそれを作ります。
よくある誤解
「SHA-256 は破れないので、ハッシュ化したデータは安全だ」。SHA-256 は自分の仕事はきちんとこなします。誰もそれを逆向きにはたどれません。弱点は入力です。ありうる入力を並べられるなら、逆向きにたどる必要はまったくありません。電話番号はよく知られた例です。ひとつの国のすべての番号は数十億の可能性に収まり、速いコンピューターならすべてを試せるほど少ないのです。
念のため:これは合成のアドレスでしか動かしません。本物の人のデータにこれを行うことは、まさにこのモジュールが防ぎ方を教えている害で、次のレッスンが防御です。
試してみよう 時間を測ってみましょう。crack の呼び出しの前後を time.perf_counter() で囲みます。ほとんどのノートパソコンでは、11,610 個の候補なら 1 秒よりずっと短く終わります。
ほかの言語では
JavaScript(Node):
const { createHash } = require("crypto");
const sha256 = t => createHash("sha256").update(t, "utf8").digest("hex");
const lookup = new Map(allCandidates().map(e => [sha256(e), e]));
const found = leaked.filter(h => lookup.has(h)).map(h => [h, lookup.get(h)]);PHP:
$lookup = [];
foreach (all_candidates() as $e) { $lookup[hash('sha256', $e)] = $e; }
$found = array_intersect_key($lookup, array_flip($leaked));まとめ
- ハッシュは同じ入力なら同じなので、変装ではなく変わらない ID になります。
- ありうる入力を並べられるなら、すべてをハッシュして比べます。総当たりです。
- 対応表は一度だけ作れば、各ハッシュは辞書を 1 回引くだけです。
- 「ハッシュ化したメールアドレスしか共有しません」でも、人を共有しています。防御は次です。
normalise(email)(空白を除いて小文字にする)、sha256_hex(text)(UTF-8 のテキストの SHA-256 の 16 進ダイジェスト)、all_candidates()(FIRST_NAMES、LAST_NAMES、MAIL_DOMAINS を使った、すべての first.last@domain と firstNN@domain のアドレスのリスト。NN は 1 から 99)、crack(hashes)(元に戻せた各ハッシュについての辞書 {hash: email})を書いてください。それから found = crack(leaked) とします。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。