Сопоставьте SDK с их владельцами
Почему это важно Хосты это не компании. Одна компания может использовать много хостов, а хост, который выглядит как собственный хост приложения, может принадлежать кому-то другому. Группировка захвата по владельцу и суммирование того, что получил каждый владелец, превращает список запросов в ответ на вопрос, который вас действительно волнует: кто узнал обо мне что?
Адреса и арендодатели
A имя хоста похоже на адрес улицы; владелец это арендодатель. events.metrics.example и cdn.metrics.example это два адреса с одним и тем же арендодателем. И partners.fitfox.example находится на улице FitFox, но его арендует другой арендодатель (AdCo). Это версия приложения для CNAME cloaking, которую вы встретили в Leg 1.
Карта доменов: это список, который говорит, какая компания управляет тем или иным хостом или сайтом. Настоящие создаются исследователями и проектами по блокировке трекеров; наш это SDK_OWNERS, обычный словарь в мире практики.
from watched.leg5b_apps import SDK_OWNERS
print(SDK_OWNERS["adco.example"]) # AdCo
print(SDK_OWNERS["partners.fitfox.example"]) # AdCo
print(SDK_OWNERS["fitfox.example"]) # FitFox
Сначала самое специфичное
Чтобы найти владельца a.b.adco.example, попробуйте полное имя, затем удалите крайнюю левую метку (метка это одна часть, разделенная точкой) и попробуйте снова: b.adco.example, затем adco.example. Остановитесь на первом совпадении. Остановитесь до того как останется одна метка вроде example, которой никто не владеет. Если ничего не совпало, владельцем является "Unknown", и неизвестный владелец заслуживает особого внимания, а не меньшего.
labels = "a.b.adco.example".split(".") # ['a', 'b', 'adco', 'example']
print(".".join(labels[1:])) # b.adco.example
Сначала идти к самому конкретному это то, что ловит partners.fitfox.example: его полное имя в словаре как AdCo, поэтому вы никогда не откатитесь к FitFox.
A граф обмена данными
Граф обмена данными: карта от каждой компании к видам данных, которые она получила. Здесь мы храним это как dict, owner -> sorted list видов.
Мир практики дает вам fields_of(entry) (то же самое, что и ваш all_fields из прошлого урока) и DATA_KINDS, который говорит, какой тип данных несет имя поля:
from watched.leg5b_apps import DATA_KINDS
print(DATA_KINDS["heart_rate"]) # health
print(DATA_KINDS.get("slot")) # None (not personal, ignore it)
Типы это identifier, location, health, contact и viewing. Как и раньше, поле идентификатора со значением ZERO_AD_ID (или пустое) не учитывается. Каждый владелец, с которым связалось приложение, появляется в графе, даже с пустым list, потому что само соединение передает ваш IP адрес и время.
Оценка, которую можно сравнивать
одно число позволяет сравнить два приложения одним взглядом. Наше простое намеренно: для каждого владельца кроме компании самого приложения, добавьте 1 за контакт, плюс вес за каждый вид, который он получил, из KIND_WEIGHTS (identifier 2, location 3, health 3, contact 3, viewing 2). FitFox получает 26.
Настоящие исследователи оценивают вещи иначе, и ни один показатель не передает всё. Показатель это лишь повод для разговора: он полезнее для фразы "это приложение делится в два раза больше, чем то", чем как окончательный вердикт.
A распространенное заблуждение
"Больше хостов означает больше совместного использования." Приложение может использовать десять хостов, запущенных им самим, и один хост, запущенный брокером данных. Подсчет владельцев и того, что они получили, ближе к истине, чем подсчет хостов.
В других языках
JavaScript
function ownerOf(host, owners) {
const labels = host.toLowerCase().split(".");
for (let i = 0; i < labels.length - 1; i++) {
const name = labels.slice(i).join(".");
if (name in owners) return owners[name];
}
return "Unknown";
}
Rust
fn owner_of(host: &str, owners: &HashMap<&str, &str>) -> String {
let labels: Vec<&str> = host.split('.').collect();
for i in 0..labels.len().saturating_sub(1) {
if let Some(o) = owners.get(labels[i..].join(".").as_str()) {
return o.to_string();
}
}
"Unknown".to_string()
}
Итог
- Группируйте по владельцу, а не по хосту: у одной компании может быть много хостов, и знакомый на вид хост может принадлежать кому-то другому.
- Сначала найдите самое точное имя, затем отбрасывайте метки по одной; отсутствие совпадения означает "Unknown".
- A Графы обмена данными показывают для каждого владельца виды данных, которые он получил.
- Простой счет помогает сравнивать приложения, но это лишь отправная точка, а не вердикт.
Напишите три функции.
owner_of(host, owners): найдитеhostв словареowners; если его нет, удалите крайнюю левую метку и попробуйте снова, остановившись перед тем как останется одна метка. Верните первого найденного владельца или"Unknown".sharing_graph(entries, owners): вернуть словарь, сопоставляющий каждого связавшегося владельца (используйте host изurlsplit(url).hostname) к отсортированному списку без повторений видов полученных данных. Используйтеfields_ofиDATA_KINDS; пропускайте имена, которых нет вDATA_KINDS, и пропускайте поля идентификаторов, значение которыхZERO_AD_IDили пустое. Владельцы, которые не получили ничего личного, все равно отображаются с[].sharing_score(graph, app_owner): для каждого владельца кромеapp_owner, добавьте 1 плюсKIND_WEIGHTS[kind]для каждого из его видов. Верните общую сумму.
graph = sharing_graph(fitness_app_log(), SDK_OWNERS), score = sharing_score(graph, "FitFox") и выведите оба.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.