Графы идентичности
Почему это важно Карта лояльности знает вашу почту. Приложение магазина знает ваш телефон. Служба доставки знает ваш адрес. Ни одна из них по отдельности не даёт полной картины, но брокер данных, который покупает все три, может объединить их в одну запись о вас. Построив крошечную версию сами, вы увидите, какая именно общая деталь их соединяет, а значит, какой деталью перестать делиться.
Паутина из ниток
Представьте доску с карточками, по одной на запись. Каждый раз, когда у двух карточек общий адрес почты, номер телефона, ID устройства или домашний адрес, вы связываете их ниткой. Когда закончите, каждый клубок карточек, связанных нитками, какой бы длинной ни была цепочка, - один человек.
Брокер данных: компания, которая собирает, покупает и продаёт информацию о людях, обычно о людях, которые о ней никогда не слышали.
Граф идентичности: карта брокера, которая связывает многие записи (почты, телефоны, устройства, адреса) с одним человеком. В математике граф - это просто точки (здесь записи), соединённые линиями (общими деталями).
Хитрость в цепочке. У карточки A общая почта с карточкой B. У карточки B общий телефон с карточкой C. У A и C нет ничего общего, но они оказываются в одном клубке. Так подписка на рассылку может быть связана с игрой на вашем телефоне, хотя ни одна из них никогда не видела данных другой.
Учебные записи
broker_records() возвращает вымышленные записи из нескольких источников:
{"id": "r014", "source": "survey", "name": "Sam Smith",
"email": " SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
"device": None, "address": None}
Любая деталь может отсутствовать (None). Адреса почты приходят со странными пробелами и заглавными буквами, поэтому их сначала нужно нормализовать: обрезать через .strip() и перевести в нижний регистр. У номеров телефонов нужно оставить только цифры, чтобы "+44 7700 910283" и "447700910283" совпадали. ch.isdigit() говорит, является ли символ цифрой.
Идём по нитке
Постройте это в три шага:
- Индекс: словарь от каждой пары
(field, value)к id записей, у которых она есть. Два id под одним ключом делят эту деталь. - Соседи: для каждого id записи - множество id, с которыми у неё есть что-то общее.
- Обход: начните с записи, которую никто не посещал, ведите список
to_visitи раз за разом берите из него id, отмечайте его увиденным и добавляйте его соседей. Всё, до чего вы дошли, - одна группа.
to_visit = ["r001"]
while to_visit: # keep going while the list is not empty
current = to_visit.pop() # take the last id off the list
...
На других языках
Брокеры и аналитики часто используют вместо обхода структуру под названием union-find. На JavaScript:
const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)И то же на Go:
func find(parent map[string]string, x string) string {
for parent[x] != x {
x = parent[x]
}
return x
}Заманчивая ошибка
Скрипт внизу также объединяет по name. Посмотрите, как падает число людей: двух разных людей по имени "Sam Smith" сливают в одного. Настоящие брокеры тоже совершают такие ошибки, и это одна из причин, почему их досье на людей часто неверны. Неверную запись всё равно можно продать и действовать по ней.
Защита
Объединения происходят через детали, которые вы повторяете. Используйте отдельный почтовый псевдоним для каждого магазина или рассылки (многие почтовые сервисы это предлагают), давайте номер телефона только когда он действительно нужен и избегайте кнопок "Войти через", которые отдают один аккаунт множеству сайтов. Нельзя помешать брокеру протягивать нитки, но можно дать ему меньше совпадающих карточек.
Итоги
- Граф идентичности соединяет записи с любой общей деталью, а цепочки общих деталей соединяют записи, у которых напрямую нет ничего общего.
- Нормализация (обрезка, нижний регистр, только цифры телефона) - то, что заставляет беспорядочные данные совпадать.
- Слабые ключи вроде имён сливают разных людей, поэтому в досье брокеров есть ошибки.
- Меньше повторяемых деталей (псевдонимы, без телефона, раздельные входы) - меньше объединений.
Напишите две функции. normalise(field, value) возвращает None для None; иначе обрезает пробелы и переводит значение в нижний регистр, оставляет только цифры, когда field равно "phone", и возвращает None, если ничего не осталось. link_records(records, keys) возвращает список множеств id записей, по одному множеству на человека: две записи в одном множестве, когда у них общее нормализованное значение для любого поля из keys, напрямую или через цепочку других записей. Каждый id записи появляется ровно в одном множестве.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.