Программа курса Урок 124 из 156 · Построй защиту
Построй защиту

Чистые ссылки в навигации

Почему это важно Разделение не дает ID попасть в общее хранилище, но оно не видит ID, записанный в самой ссылке. Когда вы нажимаете shopa.example/p/tent?fbclid=IwAR0x9k2, ID передается вместе с адресом и следующий сайт читает его прямо из URL. Движок может удалять эти имена из каждой навигации до того, как запрос покинет ваше устройство. Сложная часть заключается в том, чтобы делать это без поломки ссылок для входа и оплаты, которые выглядят точно так же.

Представьте почтовое отделение, которое отклеивает рекламные наклейки с каждого конверта перед доставкой. Это хороший сервис, пока оно не отклеит номер заказа, который нужен магазину для поиска вашей посылки. Поэтому почтовое отделение хранит короткий список: "наклейки с именем ref остаются на конвертах для платежного офиса".

Link decoration: это ID или тег кампании, добавленный в query string ссылки, часть после ?, например utm_source=news или gclid=Cj0KCQ7.

Параметр запроса: одна name=value пара в строке запроса. Пары разделены &.

Navigation: загрузка целой страницы во вкладке: ввод адреса, нажатие на ссылку или переход по редиректу. Картинки и скрипты внутри страницы не являются навигацией.

Allowlist: короткий список исключений: имена, которые нужны конкретному сайту, сохраняются даже если они есть в списке strip.

Почему во время навигации, и только там

В Этапе 2 вы написали очиститель ссылок как функцию. Внутри движка она запускается при каждой навигации, включая каждый переход по редиректу. Почему это важно: сервер кликов такой как deco.example/out?to=... может добавить adco_id к ссылке по пути прохождения после вашего клика. Только очиститель, который видит каждый переход, удаляет его.

Движки оставляют адреса картинок, скриптов и фреймов нетронутыми. Скрипты самой страницы могут отправлять ID как угодно, поэтому очистка этих адресов защищает мало и ломает много.

Некоторые реальные браузеры делают это сегодня (проверено в октябре 2026). Например, Firefox удаляет список известных параметров отслеживания в режиме Strict и в приватных окнах, Safari удаляет некоторые в режиме Private Browsing, а Brave удаляет список известных параметров по умолчанию. Каждый список короткий и выбран с осторожностью по причине, которую объясняет следующий раздел.

Почему существует allowlist

Некоторые имена служат только метками, как fbclid или utm_campaign. Короткие общие имена сложнее. В реальном мире ref это партнерский тег на ShopC, но ссылка заказа на pay.example; cid это идентификатор аналитики на ShopA, но идентификатор входа в приложение на signin.example. Удалите их везде, и платежи и входы не сработают. Модуль дает вам:

TRACKING_PARAMS = {"fbclid", "gclid", "msclkid", "mc_eid", "adco_id", "ref", "cid"}
TRACKING_PREFIXES = ("utm_",)            # every name starting with utm_
ALLOWLIST = {"pay.example": {"ref"}, "signin.example": {"cid"}}

Сравните имена в нижнем регистре: UTM_Source все еще является тегом кампании. name.lower() дает текст в нижнем регистре, а name.startswith(TRACKING_PREFIXES) проверяет каждый префикс в кортеже сразу.

Разбор URL и сборка обратно

Python's urllib.parse делает сложные части. Никогда не разрезайте URL обычными текстовыми приемами: значения могут содержать закодированные символы такие как %20.

from urllib.parse import urlsplit, parse_qsl, urlencode, urlunsplit

parts = urlsplit("https://shopa.example/p/tent?q=tent&utm_source=news#reviews")
print(parts.scheme, parts.hostname, parts.path)   # https shopa.example /p/tent
pairs = parse_qsl(parts.query, keep_blank_values=True)
print(pairs)                                      # [('q', 'tent'), ('utm_source', 'news')]
kept = [(k, v) for k, v in pairs if k != "utm_source"]
print(urlunsplit((parts.scheme, parts.netloc, parts.path, urlencode(kept), parts.fragment)))
# https://shopa.example/p/tent?q=tent#reviews

[(k, v) for k, v in pairs if ...] - это list comprehension: короткий способ написать "создайте новый list из пар, которые проходят этот тест". Когда пар не остается, urlencode([]) пустой и urlunsplit отбрасывает ? за вас. parts.netloc - это host плюс любой порт; сайт для allowlist берется из site_of(url).

Подключение к движку

Браузер практики принимает blocker(request), который видит каждый запрос, включая перенаправления. Он может вернуть "allow", "block" или новый URL для использования вместо него. request.kind это "document" или "form" для навигаций. Ваш блокировщик очищает их и оставляет все остальное нетронутым. Заметьте, он никогда не возвращает "block" для навигации: человек решил туда пойти, поэтому движок очищает путь, а не отменяет его.

run_journeys(blocker) следует по десяти украшенным ссылкам, через редиректы, платежи и входы, и сообщает для каждого: status, leaked (имена, которые целевой сервер все еще получил) и missing (имена, которые требовались сайту, но были потеряны).

Попробуйте Скопируйте ссылку из рассылки или из соцсети и вставьте ее в текстовый редактор. Найдите ? и прочитайте каждое имя перед =. Затем откройте ссылку в приватном окне Firefox и сравните адресную строку: известные имена для отслеживания исчезли.

В других языках

Тот же cleaner в JavaScript с встроенным классом URL:

const TRACKING = new Set(["fbclid", "gclid", "msclkid", "mc_eid", "adco_id", "ref", "cid"]);
const ALLOW = { "pay.example": new Set(["ref"]), "signin.example": new Set(["cid"]) };
function cleanUrl(text, site) {
  const url = new URL(text);
  const keep = ALLOW[site] ?? new Set();
  for (const name of [...url.searchParams.keys()]) {
    const low = name.toLowerCase();
    if ((TRACKING.has(low) || low.startsWith("utm_")) && !keep.has(low)) url.searchParams.delete(name);
  }
  return url.toString();
}

C#, с System.Web.HttpUtility:

// needs: using System.Linq; using System.Web;
// IsTracking(name, site) is your is_tracking, written in C#
var uri = new UriBuilder(url);
var query = HttpUtility.ParseQueryString(uri.Query);
foreach (var name in query.AllKeys.ToList())
    if (IsTracking(name, site)) query.Remove(name);
uri.Query = query.ToString();

Итог

  • Декорация Link несет ID в адресе, куда партиционирование не может дотянуться.
  • Очистите всю навигацию, включая перенаправления, и не трогайте подресурсы.
  • Никогда не блокируйте навигацию, которую выбрал человек: очищайте её.
  • Короткие общие имена требуют разрешенного списка для каждого сайта, иначе входы и платежи сломаются.
Твоя очередь

Используя TRACKING_PARAMS, TRACKING_PREFIXES и ALLOWLIST из watched.leg6b_links, напишите is_tracking(name, site): True, если имя в нижнем регистре есть в TRACKING_PARAMS или начинается с префикса, and нет в ALLOWLIST.get(site, set()). Напишите clean_url(url), который удаляет каждую пару отслеживания для сайта этого URL, сохраняет остальные по порядку и сохраняет фрагмент. Напишите blocker(request): для request.kind "document" или "form" возвращайте clean_url(request.url); иначе возвращайте "allow". Затем установите results = run_journeys(blocker). Напишите очистку сами: не используйте is_tracking_name или reference_clean модуля.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.