Защита
Почему это важно Три последних урока показали, что имена возвращаются через отпечатки, квазиидентификаторы и хэши. Вот инструменты, которые действительно помогают, когда вы строите что-то, что хранит данные о людях или делится ими. Каждый прост, и у каждого есть цена, которую стоит знать.
Четыре инструмента, одна идея: делитесь меньшими подробностями
Представьте школу, публикующую результаты экзамена. Список оценки каждого ученика, даже без имён, позволяет одноклассникам понять, кто есть кто. Фраза "средний балл класса - 64, и 3 ученика получили высший балл" говорит родителям то, что им нужно, с гораздо меньшим риском. Каждый инструмент здесь - вариант этого.
1. Хэширование с ключом (секретная соль)
Соль: дополнительный текст, подмешиваемый ко входу перед хэшированием, так что одна и та же почта даёт другой хэш. Когда соль - секрет одной организации, её часто называют ключом или перцем.
HMAC: стандартный способ хэшировать с секретным ключом. В Python он встроен: hmac.new(key, message, hashlib.sha256).hexdigest().
Таблица поиска из прошлого урока работает только потому, что sha256(email) может вычислить кто угодно. С секретным ключом посторонний не может вычислить хэши почты-кандидатов, поэтому таблица бесполезна. Цена: две компании больше не могут сопоставлять клиентов, если не поделятся ключом, и часто в этом и смысл. И это защищает только от посторонних: тот, у кого ключ, всё равно может перебирать.
2. Обобщите, затем подавите: достигаем k
Обобщение: замена точных значений более грубыми: zip 40113 становится 4011*, дата рождения 1987-03-03 становится 1980s.
Более грубые значения дают большие группы. Но некоторые группы остаются крошечными (в наших данных люди с полом X редки). Поэтому второй шаг - подавление: не включать строки, чья группа меньше k. После обоих шагов каждое оставшееся сочетание есть хотя бы у k человек. Выбор k (часто 5 и 10) - суждение о риске.
Честные пределы: если у всех k человек в группе один и тот же диагноз, группа всё равно его раскрывает. А подавление убирает самых редких людей, чьи данные могут быть важнее всего. k-анонимность снижает риск, но не убирает его.
3. Агрегирование
Часто строки вообще не нужны. Публикуйте подсчёты: "212 человек с астмой". Вместе с подавлением ("не публиковать подсчёты меньше 10") многие атаки исчезают, потому что нет строки, которую можно соединить с публичным списком.
4. Дифференциальная приватность, мягко
Подсчёты тоже могут утекать. Если вчера подсчёт был 212, а сегодня 213, и вы знаете, что присоединился один человек, вы узнаёте его диагноз. Дифференциальная приватность добавляет немного случайного шума к каждому опубликованному числу, чтобы ни один человек не менял результат так, чтобы это кто-то мог увидеть.
Дифференциальная приватность: обещание, что опубликованные результаты выглядели бы почти одинаково, включены данные любого одного человека или нет. Достигается добавлением случайного шума тщательно подобранного размера.
Эпсилон: настройка приватности. Меньший эпсилон - больше шума и больше приватности; больший - больше точности и меньше приватности.
Классический шум - распределение Лапласа с масштабом 1 / epsilon. Изящный приём делает его из двух обычных случайных значений: rng.expovariate(epsilon) - rng.expovariate(epsilon). С эпсилоном 1 опубликованный подсчёт в среднем отклоняется примерно на 1; с эпсилоном 0.25 - примерно на 4. Средние по большим группам остаются полезными, потому что шум мал по сравнению с ними и гасится.
Тесты передают объект random.Random с seed как rng. Использование только этого объекта делает ваш шум воспроизводимым, поэтому проверка честная. Часть 7 идёт глубже: бюджеты приватности и что происходит, когда отвечаешь на много вопросов.
Распространённое заблуждение
"Шум портит данные." Для одной крошечной группы портит, и в этом смысл: именно там могли бы раскрыться отдельные люди. Для больших итогов, которыми люди на самом деле пользуются, несколько единиц шума почти не важны.
Попробуйте Когда пройдёте, вызовите noisy_count(212, epsilon, rng) по десять раз для эпсилона 2, 0.5 и 0.1. Запишите разброс ответов. Какой эпсилон вы бы приняли для отчёта о городке из 2000 человек?
На других языках
JavaScript (Node):
const { createHmac } = require("crypto");
const keyedHash = (email, key) =>
createHmac("sha256", key).update(email.trim().toLowerCase()).digest("hex");
// Laplace noise from two exponential draws (use a seeded generator for tests)
const expo = (rate, rand) => -Math.log(1 - rand()) / rate;
const noisyCount = (n, eps, rand) => n + expo(eps, rand) - expo(eps, rand);Go:
mac := hmac.New(sha256.New, []byte(key))
mac.Write([]byte(strings.ToLower(strings.TrimSpace(email))))
hash := hex.EncodeToString(mac.Sum(nil))
noisy := float64(count) + r.ExpFloat64()/eps - r.ExpFloat64()/epsИтоги
- Секретный ключ (HMAC) не даёт посторонним перебрать захэшированную почту.
- Обобщите, затем подавите маленькие группы, чтобы достичь k-анонимности; она снижает риск, но не до нуля.
- Публикуйте подсчёты вместо строк и скрывайте маленькие подсчёты.
- Дифференциальная приватность добавляет шум масштаба 1/epsilon: крошечные группы размываются, большие средние остаются полезными.
Напишите keyed_hash(email, key) (шестнадцатеричный HMAC-SHA256 нормализованной почты, ключ в UTF-8), generalise(row) (новый словарь с zip = первые 4 цифры плюс *, birth_decade вроде "1980s", а gender и diagnosis без изменений), suppress_small(rows, columns, k) (оставить по порядку только строки, чья группа равных значений columns содержит не меньше k строк) и noisy_count(true_count, epsilon, rng) (добавить шум Лапласа масштаба 1/epsilon, взятый только из rng).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.