Сопоставление между устройствами
Почему это важно Вы можете пользоваться телефоном в автобусе, ноутбуком на работе и планшетом на диване, и у каждого свои cookie. Рекламные компании очень хотели бы знать, что это один человек. Эта лаборатория показывает подсказки, которые они используют, как часто эти подсказки ошибаются и какая подсказка сильнее всех: вход в аккаунт.
Соединяем точки
Представьте детектива с тремя отдельными блокнотами, по одному на устройство. В каждом записано, где устройство выходило в сеть и когда. Задача детектива - решить, какие блокноты принадлежат одному человеку. Никто ему не говорит; он угадывает по пересечениям.
Сопоставление между устройствами: решение о том, что несколько устройств принадлежат одному человеку. Детерминированное сопоставление использует верную связь, например один и тот же аккаунт, в который вошли на обоих. Вероятностное использует вероятные связи, например одну и ту же домашнюю сеть или одни и те же часы использования, и допускает ошибки.
IP-адрес: сетевой адрес, с которого идёт трафик устройства. Все устройства за одним домашним роутером обычно делят домашний адрес, а многие телефоны в мобильной сети тоже могут делить один адрес.
Три подсказки
- Общий вход: один и тот же аккаунт на двух устройствах. Очень сильная.
- Общий IP-адрес: указывает на одно домохозяйство, офис или мобильную сеть, но не обязательно на одного человека.
- Похожие часы: два устройства активны в одно и то же время суток.
Наши учебные домохозяйства берутся из synthetic_households(), которая возвращает список событий и ключ с ответами. Каждое событие - {"device": "phone-004", "ip": "203.0.113.7", "hour": 21, "login": "acct-1f2e3d"}, где "login": None, когда никто не вошёл. Адреса взяты из диапазонов, зарезервированных для документации и никогда не используемых в настоящем интернете.
Множества упрощают пересечения
Множество в Python - это мешок различных значений, пустое пишется как set(). s.add(x) кладёт значение. a & b даёт значения, которые есть в обоих множествах, а a | b - в любом из них. Пустое множество считается ложью в if:
a = {9, 21, 22}
b = {8, 21, 22, 23}
print(a & b) # {21, 22}
print(len(a & b) / len(a | b)) # 2 / 5 = 0.4, the share of hours in common
if a & b:
print("they overlap")
Оценка и суждение
Вы дадите каждой паре устройств оценку: 3 за общий вход, 1 за общий IP плюс доля общих часов (от 0 до 1). Пары с оценкой не ниже порога считаются "одним человеком". Затем вы измерите две вещи:
Precision: из заявленных вами пар - доля правильных. Recall: из настоящих пар - доля найденных. У осторожного сопоставителя высокая precision; у жадного - высокий recall.
На других языках
Пересечение множеств на JavaScript (в JavaScript нет оператора & для множеств; новые движки добавляют метод intersection(), а фильтрация работает везде):
const both = [...a.logins].some(x => b.logins.has(x));
const common = [...a.hours].filter(h => b.hours.has(h)).length;
const either = new Set([...a.hours, ...b.hours]).size;
const score = (both ? 3 : 0) + (either ? common / either : 0);И на C#:
var common = a.Hours.Intersect(b.Hours).Count();
var either = a.Hours.Union(b.Hours).Count();
double score = (a.Logins.Overlaps(b.Logins) ? 3 : 0) + (either > 0 ? (double)common / either : 0);Что вы должны увидеть
При пороге 1.0 одного общего адреса достаточно, и precision обваливается: соседи по дому, коллеги и незнакомцы в одной мобильной сети - все сливаются. При 1.5 сопоставитель прав примерно семь раз из десяти и находит примерно семь из десяти настоящих пар. При 3.0 считаются только входы: почти каждое заявление верно, но большинство настоящих пар пропущено. Входя в аккаунт, вы отдаёте ту единственную подсказку, которая почти наверняка верна.
Защита
Не входите в аккаунт, где он не нужен, и используйте разные аккаунты (или никаких) на устройствах, которые хотите держать раздельно. VPN меняет подсказку IP, но не вход и не часы. Последний урок этого модуля сводит это вместе.
Итоги
- Устройства связываются через входы (почти наверняка), общие IP-адреса и похожие часы (то и другое - догадки).
- Общие адреса объединяют домохозяйства и сети, а не людей, поэтому дают много ложных совпадений.
- Precision и recall показывают компромисс между осторожным и жадным сопоставлением.
- Вход в аккаунт - самая сильная подсказка, которую вы отдаёте.
Напишите четыре функции. summarise(events) возвращает словарь, сопоставляющий каждому устройству {"ips": set, "hours": set, "logins": set}, не включая None во входы. pair_score(a, b) принимает две такие сводки и возвращает 3, если их множества входов имеют общее значение, плюс 1, если общее значение есть у множеств IP, плюс число часов в обоих, делённое на число часов в любом (0, если оба пусты). match_devices(summaries, threshold) возвращает множество кортежей (a, b) с a < b для каждой пары имён устройств, чья оценка не меньше threshold. precision_recall(predicted, truth) возвращает кортеж (precision, recall), используя 0, когда множество пусто.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.