Программа курса Урок 71 из 156 · Третьи стороны на вашем собственном сайте
Третьи стороны на вашем собственном сайте

Проверка третьих сторон сайта

Почему это важно Нельзя исправить то, что не посчитано. Прежде чем что-то менять на сайте, инженеры по приватности записывают загрузку страницы и составляют список каждого внешнего сервера, с которым она общалась. В этом упражнении вы напишете такую проверку сами, в несколько строк на Python, и снова используете идею в проекте части 3.

Представьте книгу гостей у двери кафе. В конце дня вы читаете её и спрашиваете: кто приходил, как часто и не оставил ли кто-нибудь что-то после себя? Журнал запросов - книга гостей сайта.

Файл HAR: сокращение от HTTP Archive. DevTools может сохранить все запросы страницы в один файл (вкладка Network, правый клик, "Save all as HAR"). Каждая запись содержит URL, вид запроса, заголовки, статус и все установленные cookie. Наш учебный браузер даёт то же самое в виде списка словарей через browser.har().

Одна запись из учебного мира выглядит так (в сокращении):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

В настоящих файлах HAR нет top_site; его берут из URL страницы. Наш журнал добавляет его, чтобы код был короче.

Три вопроса, на которые отвечает проверка

  1. Идёт ли этот запрос к третьей стороне? Сравните сайт URL с top_site. Используйте сайт, а не полный хост: img.shopb.example принадлежит shopb.example, поэтому это первая сторона.
  2. Сколько получает каждый внешний хост? Посчитайте его запросы и отметьте, ставил ли он cookie.
  3. Кто видит людей на разных сайтах? Хост, который встречается под двумя или более разными значениями top_site, может связывать визиты. С них и стоит начинать.

Два помощника из учебного мира делают работу с URL за вас: host_of(url) даёт хост ("img.shopb.example"), а site_of(url) - регистрируемый сайт ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Чтобы считать по хостам, удобен метод словаря setdefault(key, default): он возвращает значение для key, сначала сохранив default, если ключ новый.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

Распространённое заблуждение: "хост, который не ставит cookie, безвреден". Хост, который есть на каждом сайте, всё равно каждый раз видит IP-адрес и браузер и может передавать свой ID в URL вместо cookie. Считайте запросы и сайты, а не только cookie.

На других языках

Та же проверка по файлу HAR, экспортированному из DevTools. В настоящих файлах HAR записи лежат в log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

Чтобы правильно определить сайт, нужен Public Suffix List (чтобы a.co.uk не считался частью co.uk). Используйте библиотеку, например tldts в JavaScript или golang.org/x/net/publicsuffix в Go, а не разбиение по точкам.

Итоги

  • Журнал запросов (HAR) - книга гостей сайта: каждый внешний сервер, с которым связалась загрузка страницы.
  • Третья сторона - это другой сайт, чем в адресной строке, а не просто другое имя хоста.
  • Хосты, замеченные под несколькими разными сайтами, способны связывать визиты.
Твоя очередь

Стартовый код записывает для вас учебный журнал: Сэм просматривает 12 страниц магазинов, пока AdCo ставит cookie с ID. Напишите три функции:

  1. is_third_party(entry): верните True, когда site_of(entry["url"]) отличается от entry["top_site"], иначе False.
  2. audit(har): пройдите по списку и для каждой записи третьей стороны соберите словарь с ключом host_of(entry["url"]). Каждое значение - словарь с "requests" (сколько записей ушло к этому хосту), "sites" (отсортированный список разных значений top_site, под которыми он встречался) и "sets_cookies" (True, если хотя бы у одной его записи непустой список set_cookies). Верните словарь. Записи первой стороны не включаются.
  3. watchers(report): по словарю из audit верните список хостов, замеченных на двух или более сайтах, отсортированный по алфавиту.
В конце выведите каждого наблюдателя с числом его запросов. Тесты используют другие журналы, поэтому ответ нельзя вписать вручную.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.