Programma Les 55 van 156 · Meet privacy, eerlijk.
Meet privacy, eerlijk.

Hashing is geen anonimiseren

Waarom dit ertoe doet Bedrijven zeggen vaak dat ze alleen "gehashte" e-mailadressen delen, alsof dat ze anoniem maakt. In deze lab ontdoe je een gehashte lijst in een fractie van een seconde, op synthetische e-mails. Zodra je het hebt gezien, lees je "we delen alleen gehashte data" heel anders.

A eenmalige blender

Denk aan een hash als een blender: je doet een aardbei erin en je krijgt elke keer dezelfde roze smoothie, maar je kunt de smoothie niet terugveranderen in een aardbei. Dat klinkt veilig. De valkuil: als je vermoedt dat het een aardbei was, blend je er zelf een en vergelijk je die.

Hash: een functie die elke tekst omzet in een vingerafdruk met een vaste lengte, die elke keer hetzelfde is voor dezelfde input. SHA-256 geeft 64 hex karakters. Je kunt het niet terugdraaien.

Brute force: elke mogelijke input proberen tot er een overeenkomst is. Het werkt wanneer de lijst van mogelijke inputs klein genoeg is om te proberen.

Waarom het niet anoniem is

E-mails worden precies gehasht zodat twee bedrijven can ze kunnen matchen: beide hashen sam.smith@mail.example en krijgen dezelfde 64 karakters. Gehashte e-mail ID's in advertenties werken zo. De hash is een stabiele ID voor de persoon, geen vermomming.

En er zijn niet zoveel e-mails. Ons oefenmailsysteem geeft alleen first.last@domain of firstNN@domain uit, van 30 voornamen, 30 achternamen en 3 domeinen: in totaal 11.610 mogelijke adressen. Het hashen van deze allemaal duurt een fractie van een seconde. Echte adresruimtes zijn veel groter, maar databrokers hebben al enorme lijsten van echte adressen, dus ze hashen alleen wat ze hebben en vergelijken dit.

Het plan

  1. normalise(email): verwijder spaties en zet naar kleine letters. Iedereen doet dit voor het hashen, dus Sam.Smith@Mail.Example en sam.smith@mail.example komen overeen.
  2. sha256_hex(text): hashlib.sha256(text.encode("utf-8")).hexdigest(). .encode zet tekst om naar bytes, wat is wat hash functies eten.
  3. all_candidates(): loop over domains, voornamen en achternamen om elk mogelijk adres te lichten.
  4. crack(hashes): bouw een dictionary van de hash van elke kandidaat naar de kandidaat, once, en zoek dan elke gelekte hash op. Het één keer bouwen ertoe doet: het hashen van 11.610 adressen voor elk van de 200 gelekte hashes zou 200 keer trager zijn.

Lookup table: een dictionary die vooraf is gebouwd uit antwoorden die je nodig kunt hebben, zodat elke vraag in één stap wordt beantwoord. Aanvallers bouwen deze voor veelvoorkomende wachtwoorden en e-maillijsten.

A veelvoorkomende misvatting

"SHA-256 is onbreekbaar, dus gehashte data is veilig." SHA-256 is prima in wat het doet: niemand draait het terug. De zwakte zit in de input: wanneer de mogelijke inputs in een lijst kunnen worden gezet, hoef je het nooit terug te draaien. Telefoonnummers zijn een bekend voorbeeld: alle nummers in één land passen in een paar miljard mogelijkheden, weinig genoeg voor een snelle computer om ze allemaal te proberen.

Herinnering: dit draait alleen op synthetische adressen. Dit doen met de data van echte mensen is precies de schade die deze module je leert te voorkomen, en de volgende les is de verdediging.

Probeer het Meet de tijd: wikkel je crack call in met time.perf_counter() voor en na. Op de meeste laptops is het in minder dan een seconde klaar voor 11,610 kandidaten.

In andere talen

JavaScript (Node):

const { createHash } = require("crypto");
const sha256 = t => createHash("sha256").update(t, "utf8").digest("hex");

const lookup = new Map(allCandidates().map(e => [sha256(e), e]));
const found = leaked.filter(h => lookup.has(h)).map(h => [h, lookup.get(h)]);

PHP:

$lookup = [];
foreach (all_candidates() as $e) { $lookup[hash('sha256', $e)] = $e; }
$found = array_intersect_key($lookup, array_flip($leaked));

Samenvatting

    De
  • A hash is hetzelfde voor dezelfde input, wat het een stabiele ID maakt, geen vermomming.
  • Wanneer de mogelijke inputs kunnen worden opgelijst, hash ze dan allemaal en vergelijk ze: brute force.
  • Bouw de lookup table één keer op, dan is elke hash een enkele dict look-up.
  • "We delen alleen gehashte e-mails" deelt nog steeds een persoon. De verdediging is nu.
Jij bent aan de beurt

Schrijf normalise(email) (strip en naar kleine letters), sha256_hex(text) (SHA-256 hex digest van de UTF-8 tekst), all_candidates() (een lijst van elk first.last@domain en firstNN@domain adres, NN van 1 tot 99, gebruikmakend van FIRST_NAMES, LAST_NAMES en MAIL_DOMAINS) en crack(hashes) (een dict {hash: email} voor elke hash die je kunt herstellen). Stel daarna found = crack(leaked) in.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.