Программа курса Урок 55 из 156 · Измеряйте приватность честно
Измеряйте приватность честно

Хэширование - не анонимизация

Почему это важно Компании часто говорят, что передают только "захэшированные" адреса почты, будто это делает их анонимными. В этой лаборатории вы за долю секунды обратите захэшированный список на синтетических адресах. Увидев это, вы будете совсем иначе читать "мы передаём только захэшированные данные".

Односторонний блендер

Думайте о хэше как о блендере: положите клубнику - и каждый раз получите один и тот же розовый смузи, но превратить смузи обратно в клубнику нельзя. Звучит безопасно. Подвох: если вы подозреваете, что это была клубника, вы взбиваете её сами и сравниваете.

Хэш: функция, которая превращает любой текст в отпечаток фиксированной длины, каждый раз одинаковый для одного и того же входа. SHA-256 даёт 64 шестнадцатеричных символа. Выполнить её в обратную сторону нельзя.

Перебор: пробовать каждый возможный вход, пока один не совпадёт. Это работает, когда список возможных входов достаточно мал, чтобы его перебрать.

Почему это не анонимно

Адреса почты хэшируют как раз затем, чтобы две компании могли их сопоставить: обе хэшируют sam.smith@mail.example и получают одни и те же 64 символа. Так работают рекламные ID на основе захэшированной почты. Хэш - устойчивый ID человека, а не маскировка.

И адресов почты не так уж много. Наша учебная почтовая система выдаёт только first.last@domain или firstNN@domain, из 30 имён, 30 фамилий и 3 доменов: всего 11 610 возможных адресов. Захэшировать их все - мгновение. Настоящие пространства адресов намного больше, но у брокеров данных уже есть огромные списки реальных адресов, поэтому они хэшируют лишь то, что имеют, и сравнивают.

План

  1. normalise(email): обрезать пробелы и перевести в нижний регистр. Все делают это перед хэшированием, чтобы Sam.Smith@Mail.Example и sam.smith@mail.example совпадали.
  2. sha256_hex(text): hashlib.sha256(text.encode("utf-8")).hexdigest(). .encode превращает текст в байты, которыми питаются хэш-функции.
  3. all_candidates(): пройти циклом по доменам, именам и фамилиям, чтобы перечислить каждый возможный адрес.
  4. crack(hashes): построить словарь от хэша каждого кандидата к кандидату один раз, затем искать в нём каждый утёкший хэш. Важно строить один раз: хэшировать 11 610 адресов для каждого из 200 утёкших хэшей было бы в 200 раз медленнее.

Таблица поиска: словарь, заранее построенный из ответов, которые могут понадобиться, чтобы на каждый вопрос отвечать за один шаг. Злоумышленники строят их для распространённых паролей и списков почты.

Распространённое заблуждение

"SHA-256 невозможно взломать, поэтому захэшированные данные в безопасности." SHA-256 прекрасно делает своё дело: никто не выполняет его в обратную сторону. Слабость во входе: когда возможные входы можно перечислить, выполнять его в обратную сторону никогда не нужно. Известный случай - номера телефонов: все номера одной страны умещаются в несколько миллиардов вариантов, достаточно мало, чтобы быстрый компьютер перебрал каждый.

Напоминание: это всегда запускается только на синтетических адресах. Делать это с данными реальных людей - ровно тот вред, предотвращать который учит этот модуль, а следующий урок - защита.

Попробуйте Замерьте время: оберните вызов crack вызовами time.perf_counter() до и после. На большинстве ноутбуков для 11 610 кандидатов это заканчивается гораздо быстрее секунды.

На других языках

JavaScript (Node):

const { createHash } = require("crypto");
const sha256 = t => createHash("sha256").update(t, "utf8").digest("hex");

const lookup = new Map(allCandidates().map(e => [sha256(e), e]));
const found = leaked.filter(h => lookup.has(h)).map(h => [h, lookup.get(h)]);

PHP:

$lookup = [];
foreach (all_candidates() as $e) { $lookup[hash('sha256', $e)] = $e; }
$found = array_intersect_key($lookup, array_flip($leaked));

Итоги

  • Хэш одинаков для одного и того же входа, что делает его устойчивым ID, а не маскировкой.
  • Когда возможные входы можно перечислить, захэшируйте их все и сравните: перебор.
  • Постройте таблицу поиска один раз, тогда каждый хэш - один поиск в словаре.
  • "Мы передаём только захэшированную почту" всё равно передаёт человека. Защита - следующая.
Твоя очередь

Напишите normalise(email) (обрезка и нижний регистр), sha256_hex(text) (шестнадцатеричный дайджест SHA-256 текста в UTF-8), all_candidates() (список всех адресов first.last@domain и firstNN@domain, NN от 1 до 99, с использованием FIRST_NAMES, LAST_NAMES и MAIL_DOMAINS) и crack(hashes) (словарь {hash: email} для каждого хэша, который удаётся восстановить). Затем задайте found = crack(leaked).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.