Программа курса Урок 147 из 156 · Измеряйте веб как исследователь
Измеряйте веб как исследователь

Найдите скрытые трекеры

Почему это важно Больше всего исследователей тревожат трекеры, которые прячутся: за именем вашего же сайта, внутри перенаправления, которого вы не замечаете, или в скрипте, который вообще не ставит cookie. Простой подсчёт третьих сторон их пропускает. Эта лаборатория находит три вида в ваших данных обхода.

Представьте магазин, где охранник носит форму самого магазина, но на самом деле работает на кого-то другого. Посетитель, считающий "сторонний персонал", никогда его не заметит. Скрытые трекеры работают так же.

1. CNAME-маскировка

DNS: адресная книга интернета: превращает имя вроде m.calmriver.example в адрес компьютера.

CNAME: запись DNS, которая говорит: "это имя на самом деле другое имя". m.calmriver.example может быть CNAME для c.cloakco.example, поэтому запрос выглядит как первая сторона, но достигает трекера.

CNAME-маскировка: трекер, прячущийся за собственным поддоменом сайта через CNAME, так что списки блокировки и правила для сторонних cookie видят имя первой стороны.

В записях обхода у каждого запроса есть cname: куда на самом деле, по данным DNS, указывает хост, или None. У замаскированного запроса хост на собственном сайте страницы, а CNAME - на трекере из списка. Осторожно: многие сайты направляют поддомены на сеть доставки контента, например edge.cdn.example. Это нормально, поэтому сверяйте сайт CNAME с TRACKER_LIST.

Safari ограничивает cookie, поставленные через ответы с CNAME-маскировкой, 7 днями, а Firefox позволяет расширениям-блокировщикам проверять CNAME, чтобы снять маскировку; расширения Chrome так проверять не могут (проверено в октябре 2026).

2. Цепочки перенаправлений

Когда вы нажимаете ссылку, она может пройти по пути через перенаправление трекера, позволяя ему поставить или прочитать собственную cookie первой стороны. Вы встречали bounce-трекинг в части 6; здесь вы считаете его в масштабе. В каждой записи есть click_chain: URL, через которые прошёл краулер после нажатия первой исходящей ссылки страницы. Промежуточный шаг - это перенаправление-отскок, если его сайт отличается и от начального, и от конечного сайта. Сайт, перенаправляющий через свою собственную страницу /out, - не отскок.

3. Скрипты fingerprinting

Инструментированный краулер записывает, какие функции браузера использовал каждый скрипт, в scripts. По подходу опубликованных исследований скрипт подозрителен, когда он и читает обратно рисунок или звук (CANVAS_READS), и читает не меньше 4 разных признаков устройства (TRAIT_APIS). Приложение для рисования, которое только экспортирует вашу картинку, использует canvas, но читает мало признаков, поэтому не считается.

from watched.leg7b_web import CANVAS_READS, TRAIT_APIS
apis = ["canvas.toDataURL", "navigator.userAgent", "screen.width",
        "navigator.languages", "Intl.timeZone"]
reads_canvas = any(a in CANVAS_READS for a in apis)
traits = {a for a in apis if a in TRAIT_APIS}      # a set: each trait once
print(reads_canvas, len(traits))                   # True 4

Обратите внимание на fingerprinting, отдаваемый с собственного хоста сайта. Ни один список третьих сторон его не поймает; только поведение.

Распространённое заблуждение: "Если мой блокировщик показывает ноль сторонних трекеров, за мной ничто не следит." Замаскированные, перенаправляющие и снимающие отпечатки трекеры первой стороны все проскальзывают мимо списка имён третьих сторон. Проверки по поведению, вроде тех, что вы пишете здесь, - то, как браузеры и исследователи их находят.

На других языках

Правило fingerprinting на JavaScript и PHP:

// JavaScript
function isFingerprinting(apis) {
  const readsCanvas = apis.some(a => CANVAS_READS.includes(a));
  const traits = new Set(apis.filter(a => TRAIT_APIS.includes(a)));
  return readsCanvas && traits.size >= 4;
}
// PHP
function is_fingerprinting(array $apis): bool {
    $reads = count(array_intersect($apis, CANVAS_READS)) > 0;
    $traits = count(array_unique(array_intersect($apis, TRAIT_APIS)));
    return $reads && $traits >= 4;
}

Итоги

  • CNAME-маскировка прячет трекер за собственным поддоменом сайта; проверяйте, куда на самом деле указывает CNAME.
  • Отскок - шаг перенаправления на сайте, который не является ни начальным, ни конечным.
  • Fingerprinting проявляется в поведении: чтение обратно canvas или звука плюс много признаков устройства.
  • Поведение находит то, что пропускают списки имён, включая fingerprinting первой стороны.
Твоя очередь

Напишите пять функций над записями обхода:

  1. cloaked_hosts(load, tracker_list): отсортированный список различных хостов запросов на собственном сайте страницы, у которых задан cname и сайт CNAME есть в tracker_list.
  2. bounce_hops(load): из load["click_chain"] - сайты промежуточных шагов, отличающиеся и от сайта первого, и от сайта последнего URL (пустой список, если цепочка короче 3).
  3. is_fingerprinting(apis): истина, если какой-либо API есть в CANVAS_READS и не меньше 4 разных API есть в TRAIT_APIS.
  4. fingerprinting_scripts(load): URL скриптов в load["scripts"], проходящих эту проверку.
  5. hidden_report(loads, tracker_list): словарь с подсчётом сайтов с каждым видом: "cname_cloaking", "bounce", "fingerprinting" и "first_party_fingerprinting" (скрипт fingerprinting на собственном сайте страницы).
Затем задайте report для полного обхода. Тесты обходят и другие смоделированные вебы.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.