Программа курса Урок 111 из 156 · Приложения и устройства
Приложения и устройства

Сопоставьте SDK с их владельцами

Почему это важно Хосты это не компании. Одна компания может использовать много хостов, а хост, который выглядит как собственный хост приложения, может принадлежать кому-то другому. Группировка захвата по владельцу и суммирование того, что получил каждый владелец, превращает список запросов в ответ на вопрос, который вас действительно волнует: кто узнал обо мне что?

Адреса и арендодатели

A имя хоста похоже на адрес улицы; владелец это арендодатель. events.metrics.example и cdn.metrics.example это два адреса с одним и тем же арендодателем. И partners.fitfox.example находится на улице FitFox, но его арендует другой арендодатель (AdCo). Это версия приложения для CNAME cloaking, которую вы встретили в Leg 1.

Карта доменов: это список, который говорит, какая компания управляет тем или иным хостом или сайтом. Настоящие создаются исследователями и проектами по блокировке трекеров; наш это SDK_OWNERS, обычный словарь в мире практики.

from watched.leg5b_apps import SDK_OWNERS
print(SDK_OWNERS["adco.example"])            # AdCo
print(SDK_OWNERS["partners.fitfox.example"]) # AdCo
print(SDK_OWNERS["fitfox.example"])          # FitFox

Сначала самое специфичное

Чтобы найти владельца a.b.adco.example, попробуйте полное имя, затем удалите крайнюю левую метку (метка это одна часть, разделенная точкой) и попробуйте снова: b.adco.example, затем adco.example. Остановитесь на первом совпадении. Остановитесь до того как останется одна метка вроде example, которой никто не владеет. Если ничего не совпало, владельцем является "Unknown", и неизвестный владелец заслуживает особого внимания, а не меньшего.

labels = "a.b.adco.example".split(".")   # ['a', 'b', 'adco', 'example']
print(".".join(labels[1:]))              # b.adco.example

Сначала идти к самому конкретному это то, что ловит partners.fitfox.example: его полное имя в словаре как AdCo, поэтому вы никогда не откатитесь к FitFox.

A граф обмена данными

Граф обмена данными: карта от каждой компании к видам данных, которые она получила. Здесь мы храним это как dict, owner -> sorted list видов.

Мир практики дает вам fields_of(entry) (то же самое, что и ваш all_fields из прошлого урока) и DATA_KINDS, который говорит, какой тип данных несет имя поля:

from watched.leg5b_apps import DATA_KINDS
print(DATA_KINDS["heart_rate"])   # health
print(DATA_KINDS.get("slot"))     # None (not personal, ignore it)

Типы это identifier, location, health, contact и viewing. Как и раньше, поле идентификатора со значением ZERO_AD_ID (или пустое) не учитывается. Каждый владелец, с которым связалось приложение, появляется в графе, даже с пустым list, потому что само соединение передает ваш IP адрес и время.

Оценка, которую можно сравнивать

одно число позволяет сравнить два приложения одним взглядом. Наше простое намеренно: для каждого владельца кроме компании самого приложения, добавьте 1 за контакт, плюс вес за каждый вид, который он получил, из KIND_WEIGHTS (identifier 2, location 3, health 3, contact 3, viewing 2). FitFox получает 26.

Настоящие исследователи оценивают вещи иначе, и ни один показатель не передает всё. Показатель это лишь повод для разговора: он полезнее для фразы "это приложение делится в два раза больше, чем то", чем как окончательный вердикт.

A распространенное заблуждение

"Больше хостов означает больше совместного использования." Приложение может использовать десять хостов, запущенных им самим, и один хост, запущенный брокером данных. Подсчет владельцев и того, что они получили, ближе к истине, чем подсчет хостов.

В других языках

JavaScript

function ownerOf(host, owners) {
  const labels = host.toLowerCase().split(".");
  for (let i = 0; i < labels.length - 1; i++) {
    const name = labels.slice(i).join(".");
    if (name in owners) return owners[name];
  }
  return "Unknown";
}

Rust

fn owner_of(host: &str, owners: &HashMap<&str, &str>) -> String {
    let labels: Vec<&str> = host.split('.').collect();
    for i in 0..labels.len().saturating_sub(1) {
        if let Some(o) = owners.get(labels[i..].join(".").as_str()) {
            return o.to_string();
        }
    }
    "Unknown".to_string()
}

Итог

  • Группируйте по владельцу, а не по хосту: у одной компании может быть много хостов, и знакомый на вид хост может принадлежать кому-то другому.
  • Сначала найдите самое точное имя, затем отбрасывайте метки по одной; отсутствие совпадения означает "Unknown".
  • A Графы обмена данными показывают для каждого владельца виды данных, которые он получил.
  • Простой счет помогает сравнивать приложения, но это лишь отправная точка, а не вердикт.
Твоя очередь

Напишите три функции.

  1. owner_of(host, owners): найдите host в словаре owners; если его нет, удалите крайнюю левую метку и попробуйте снова, остановившись перед тем как останется одна метка. Верните первого найденного владельца или "Unknown".
  2. sharing_graph(entries, owners): вернуть словарь, сопоставляющий каждого связавшегося владельца (используйте host из urlsplit(url).hostname) к отсортированному списку без повторений видов полученных данных. Используйте fields_of и DATA_KINDS; пропускайте имена, которых нет в DATA_KINDS, и пропускайте поля идентификаторов, значение которых ZERO_AD_ID или пустое. Владельцы, которые не получили ничего личного, все равно отображаются с [].
  3. sharing_score(graph, app_owner): для каждого владельца кроме app_owner, добавьте 1 плюс KIND_WEIGHTS[kind] для каждого из его видов. Верните общую сумму.
Затем установите graph = sharing_graph(fitness_app_log(), SDK_OWNERS), score = sharing_score(graph, "FitFox") и выведите оба.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.