Kurrikulum Leson 55 van 156 · Meet privaatheid, eerlikwaar.
Meet privaatheid, eerlikwaar.

Hashing is nie anonimisering nie

Hoekom dit saak maak Maatskappye sê dikwels hulle deel net "gehashede" e-posadresse, asof dit hulle anoniem maak. In hierdie laboratorium ontdoei jy 'n gehasde lys in 'n breuk van 'n sekonde, op sintetiese e-posse. Sodat jy dit gesien het, sal jy "ons deel net gehasde data" baie anders lees.

A eenweg-blender

Dink aan 'n hash as 'n blender: gooi 'n stroberi in en jy kry elke keer dieselfde pienk smoothie, maar jy kan nie die smoothie terugverander in 'n stroberi nie. Dit klink veilig. Die vangstok: as jy vermoed dit was 'n stroberi, blend jy een self en vergelyk dit.

Hash: 'n funksie wat enige teks in 'n vaste lengte vingerafdruk verander, elke keer dieselfde vir dieselfde inset. SHA-256 gee 64 heksagonale karakters. Jy kan dit nie terugwerk nie.

Brute force: probeer elke moontlike inset tot een ooreenstem. Dit werk wanneer die lys van moontlike insets klein genoeg is om te probeer.

Waarom dit nie anoniem is nie

E-posse word presies gehash sodat twee maatskappye kan hulle ooreenstem: albei hash sam.smith@mail.example en kry dieselfde 64 karakters. Gehaste-e-pos IDs in advertensies werk so. Die hash is 'n stabiele ID vir die persoon, nie 'n vermomming nie.

En daar is nie so baie e-posse nie. Ons oefenposstelsel gee net first.last@domain of firstNN@domain uit, uit 30 voorname, 30 vanne en 3 domeine: 11,610 moontlike adresse in totaal. Om almal daarvan te hash neem 'n oomblik. Regte adresruimtes is baie groter, maar databrokkers het reeds enorme lysse van regte adresse, so hulle hash net wat hulle het en vergelyk.

Die plan

  1. normalise(email): verwyder spasies en maak dit kleinletter. Almal doen dit voor hashing, so Sam.Smith@Mail.Example en sam.smith@mail.example pas bymekaar.
  2. sha256_hex(text): hashlib.sha256(text.encode("utf-8")).hexdigest(). .encode verander teks in bytes, wat is wat hash funksies eet.
  3. all_candidates(): loop oor domeine, voorname en vanne om elke moontlike adres op te lys.
  4. crack(hashes): bou 'n dict van elke kandidaat se hash na die kandidaat, once, en kyk dan elke lek hash op. Om dit een keer te bou maak saak: om 11,610 adresse te hash vir elkeen van die 200 lek hashes sou 200 keer stadiger wees.

Lookup-tabel: 'n dict wat vooraf gebou is uit antwoorde wat jy dalk nodig het, sodat elke vraag in een stap beantwoord word. Aanvallers bou hulle vir algemene wagwoorde en e-poslyste.

A algemene wanbeleving

"SHA-256 is onbreekbaar, so gehashede data is veilig." SHA-256 is goed in wat dit doen: niemand draai dit terug nie. Die swakheid is die input: wanneer die moontlike inputs gelys kan word, hoef jy dit nooit terug te draai nie. Telefoonnommers is 'n bekende geval: al die nommers in een land pas in 'n paar miljarde moontlikhede, min genoeg vir 'n vinnige rekenaar om elkeen te probeer.

Herinnering: dit loop net op sintetiese adresse. Om dit op regte mense se data te doen is presies die skade wat hierdie module jou leer om te voorkom, en die volgende les is die verdediging.

Probeer dit Meet die tyd: omsluit jou crack call met time.perf_counter() voor en daarna. Op die meeste skootrekenaars voltooi dit in baie minder as 'n sekonde vir 11,610 kandidate.

In ander tale

JavaScript (Node):

const { createHash } = require("crypto");
const sha256 = t => createHash("sha256").update(t, "utf8").digest("hex");

const lookup = new Map(allCandidates().map(e => [sha256(e), e]));
const found = leaked.filter(h => lookup.has(h)).map(h => [h, lookup.get(h)]);

PHP:

$lookup = [];
foreach (all_candidates() as $e) { $lookup[hash('sha256', $e)] = $e; }
$found = array_intersect_key($lookup, array_flip($leaked));

Opsomming

    Die
  • A hash is dieselfde vir dieselfde input, wat dit 'n stabiele ID maak, nie 'n vermomming nie.
  • Wanneer die moontlike insets gelys kan word, hash hulle almal en vergelyk: brute force.
  • Bou die lookup table een keer, dan is elke hash 'n enkele dict look-up.
  • "Ons deel net gehashede e-posse" deel steeds 'n persoon. Die verdediging is volgende.
Jou beurt

Skryf normalise(email) (strip en lower-case), sha256_hex(text) (SHA-256 hex digest van die UTF-8 teks), all_candidates() ( 'n lys van elke first.last@domain en firstNN@domain adres, NN van 1 tot 99, gebruik FIRST_NAMES, LAST_NAMES en MAIL_DOMAINS) en crack(hashes) ( 'n dict {hash: email} vir elke hash wat jy kan herstel). Stel dan found = crack(leaked).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.