Обойдите смоделированный веб
Почему это важно Подсчёт - это то, как смутная тревога ("трекеры повсюду") превращается в факт, который можно проверить и повторить. В этой лаборатории вы проведёте обход в настоящем стиле по 1000 смоделированных сайтов и построите таблицу, с которой начинается каждое исследование отслеживания: какие третьи стороны появляются и на скольких сайтах.
Обход похож на инвентаризацию в магазине: пройти каждый ряд, записать каждый товар, затем сложить. Здесь каждый ряд - сайт, а каждый товар - запрос, который сделала страница.
Смоделированный веб
SimWeb(seed) из watched.leg7b_web создаёт 1000 вымышленных сайтов, упорядоченных по популярности. web.sites перечисляет их имена, а web.visit(site) возвращает то, что записал инструментированный краулер:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleТретья сторона: сайт, отличный от того, который вы посещаете, с которым связывается страница. Если вы посещаете calmriver.example, а он загружает t.adco.example, третья сторона - adco.example.
Регистрируемый домен (сайт): часть имени хоста, которой управляет один владелец, например adco.example для t.adco.example. site_of(host) вычисляет это за вас; вы сами писали её в части 6.
Распространённость: насколько что-то широко распространено: здесь - число (или доля) обойдённых сайтов, на которых встречается третья сторона.
Считаем словарём, сортируем по ключу
Множество хранит каждое значение один раз, что идеально для "с какими третьими сторонами связалась эта страница". Чтобы считать по страницам, используйте словарь и прибавляйте один за каждую страницу, где появляется третья сторона. Чтобы отсортировать таблицу, сортируйте её элементы с key: функцией, которая говорит, по чему сортировать.
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.Заметьте, третья сторона считается один раз на сайт, сколько бы запросов она там ни делала. Трекер, который запускает десять пикселей на одном сайте, всё равно на одном сайте.
TRACKER_LIST - список блокировки известных сайтов-трекеров, так, как их размечают публичные списки фильтров. Доля сайтов, загружающих хотя бы один трекер из списка, - главное число многих исследований.
Распространённое заблуждение: "Каждая третья сторона - трекер." Шрифты, сети доставки контента и платёжные виджеты тоже третьи стороны. Ваша таблица покажет, что некоторые из самых частых третьих сторон безвредны, поэтому исследования размечают аккуратно.
На других языках
Подсчёт распространённости на JavaScript (Node) и Go:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}Итоги
- Обход посещает много сайтов и записывает каждый запрос; подсчёт превращает это в факты.
- Используйте site_of, чтобы группировать хосты в сайты, и считайте каждую третью сторону один раз на сайт.
- Сортируйте по ключу, чтобы ранжировать по распространённости, разрешая ничьи по имени.
- Не каждая третья сторона - трекер; размечайте по списку и говорите, какой список использовали.
Напишите пять функций:
third_parties(load): множество сайтов (site_of(request["host"])), с которыми связалась страница, безload["site"].prevalence(loads): словарь от сайта третьей стороны к числу загрузок, в которых он появляется.top(table, n):nсамых больших пар(site, count), от большего, ничьи по алфавиту.cookie_setters(loads): множество сайтов третьих сторон, у которых есть хотя бы один запрос с истиннымsets_cookie.tracker_share(loads, tracker_list): доля загрузок, связывающихся хотя бы с одним сайтом изtracker_list.
loads значением web.visit(site) для каждого сайта из web.sites, по порядку. Тесты обходят и другие смоделированные вебы.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.