Проверка третьих сторон сайта
Почему это важно Нельзя исправить то, что не посчитано. Прежде чем что-то менять на сайте, инженеры по приватности записывают загрузку страницы и составляют список каждого внешнего сервера, с которым она общалась. В этом упражнении вы напишете такую проверку сами, в несколько строк на Python, и снова используете идею в проекте части 3.
Представьте книгу гостей у двери кафе. В конце дня вы читаете её и спрашиваете: кто приходил, как часто и не оставил ли кто-нибудь что-то после себя? Журнал запросов - книга гостей сайта.
Файл HAR: сокращение от HTTP Archive. DevTools может сохранить все запросы страницы в один файл (вкладка Network, правый клик, "Save all as HAR"). Каждая запись содержит URL, вид запроса, заголовки, статус и все установленные cookie. Наш учебный браузер даёт то же самое в виде списка словарей через browser.har().
Одна запись из учебного мира выглядит так (в сокращении):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}В настоящих файлах HAR нет top_site; его берут из URL страницы. Наш журнал добавляет его, чтобы код был короче.
Три вопроса, на которые отвечает проверка
- Идёт ли этот запрос к третьей стороне? Сравните сайт URL с
top_site. Используйте сайт, а не полный хост:img.shopb.exampleпринадлежитshopb.example, поэтому это первая сторона. - Сколько получает каждый внешний хост? Посчитайте его запросы и отметьте, ставил ли он cookie.
- Кто видит людей на разных сайтах? Хост, который встречается под двумя или более разными значениями
top_site, может связывать визиты. С них и стоит начинать.
Два помощника из учебного мира делают работу с URL за вас: host_of(url) даёт хост ("img.shopb.example"), а site_of(url) - регистрируемый сайт ("shopb.example").
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.exampleЧтобы считать по хостам, удобен метод словаря setdefault(key, default): он возвращает значение для key, сначала сохранив default, если ключ новый.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}Распространённое заблуждение: "хост, который не ставит cookie, безвреден". Хост, который есть на каждом сайте, всё равно каждый раз видит IP-адрес и браузер и может передавать свой ID в URL вместо cookie. Считайте запросы и сайты, а не только cookie.
На других языках
Та же проверка по файлу HAR, экспортированному из DevTools. В настоящих файлах HAR записи лежат в log.entries.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());Чтобы правильно определить сайт, нужен Public Suffix List (чтобы a.co.uk не считался частью co.uk). Используйте библиотеку, например tldts в JavaScript или golang.org/x/net/publicsuffix в Go, а не разбиение по точкам.
Итоги
- Журнал запросов (HAR) - книга гостей сайта: каждый внешний сервер, с которым связалась загрузка страницы.
- Третья сторона - это другой сайт, чем в адресной строке, а не просто другое имя хоста.
- Хосты, замеченные под несколькими разными сайтами, способны связывать визиты.
Стартовый код записывает для вас учебный журнал: Сэм просматривает 12 страниц магазинов, пока AdCo ставит cookie с ID. Напишите три функции:
is_third_party(entry): вернитеTrue, когдаsite_of(entry["url"])отличается отentry["top_site"], иначеFalse.audit(har): пройдите по списку и для каждой записи третьей стороны соберите словарь с ключомhost_of(entry["url"]). Каждое значение - словарь с"requests"(сколько записей ушло к этому хосту),"sites"(отсортированный список разных значенийtop_site, под которыми он встречался) и"sets_cookies"(True, если хотя бы у одной его записи непустой списокset_cookies). Верните словарь. Записи первой стороны не включаются.watchers(report): по словарю изauditверните список хостов, замеченных на двух или более сайтах, отсортированный по алфавиту.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.