URL и очистка ссылок
Почему это важно Когда cookie заблокированы или разделены, трекеры несут ваш ID в самой ссылке, и каждый раз, копируя и пересылая такую ссылку, вы передаёте вместе с ней ID клика. Очиститель ссылок снимает это украшение при каждой навигации, не ломая страницу. Браузеры и блокировщики его поставляют; здесь вы напишете свой, а модуль о блокировщике использует эту идею снова.
Представьте ярлык на посылке. Адрес - это то, что нужно курьеру. Наклейки, добавленные всеми, кто держал посылку по пути ("пришло через рассылку", "номер клиента 7f3a"), - нет. Очистить ссылку значит снять наклейки, оставив адрес ровно таким, каким он был.
URL: веб-адрес, по частям: у https://shopa.example:443/p/tent?colour=green#reviews есть схема (https), хост (shopa.example), порт (443), путь (/p/tent), строка запроса (colour=green) и фрагмент (reviews, который остаётся в браузере и не отправляется на сервер).
Параметр запроса: один кусок name=value строки запроса, отделённый от остальных знаком &.
Украшение ссылки: параметры, добавленные к ссылке, чтобы перенести ID или метку кампании с одного сайта на другой, например utm_source, fbclid или gclid.
Две задачи: нормализовать, затем убрать
Нормализовать значит каждый раз записывать один и тот же адрес одинаково. Схема и хост не чувствительны к регистру, поэтому HTTPS://SHOPA.Example становится https://shopa.example. Порт 443 - порт по умолчанию для HTTPS (80 для HTTP), поэтому его запись ничего не добавляет. Пустой путь - это /. Сам путь на многих серверах чувствителен к регистру, поэтому его не трогайте.
Убрать значит удалить только параметры отслеживания. STRIP_PARAMS в watched.leg2c_http перечисляет имена ID кликов и кампаний (от рекламных платформ, почтовых инструментов и соцсетей), и каждое имя, начинающееся с utm_, тоже уходит. Сравнивайте имена в нижнем регистре и после декодирования (utm%5Fsource - это замаскированный utm_source). Всё остальное остаётся ровно как написано: q=red+tent не должно становиться q=red%20tent, а для некоторых сайтов важен порядок.
Процентное кодирование: запись символа как % плюс две шестнадцатеричные цифры, чтобы он мог безопасно путешествовать в URL: %5F - это _, %26 - &. urllib.parse.unquote превращает его обратно.
from urllib.parse import urlsplit
parts = urlsplit("https://Shop.Example:443/p?utm_source=x&id=5#top")
parts.scheme, parts.hostname, parts.port, parts.path, parts.query, parts.fragment
# ('https', 'shop.example', 443, '/p', 'utm_source=x&id=5', 'top')Почему не пересобрать строку запроса через urlencode? Потому что он заново кодирует значения и может тихо их изменить. Безопаснее делить сырую строку запроса по & и оставлять нетронутые куски. Вложенный адрес вроде ?to=https%3A%2F%2F...%3Futm_source%3Dx - одно закодированное значение обычного параметра; здесь его не трогайте (разворачивание ссылок-отскоков - задача следующего урока и блокировщика).
Распространённое заблуждение
"Для надёжности убирать все параметры." Это ломает результаты поиска (q=), номера страниц (page=2) и, хуже всего, ссылки для сброса пароля и входа (token=). Один из 40 оцениваемых случаев - ровно такая ссылка сброса. Очистители в браузерах используют список по той же причине (проверено в октябре 2026).
Попробуйте Скопируйте ссылку из письма рассылки или поста в соцсети в текстовый редактор. Видите ли вы параметры utm_ или длинный ID клика? Уберите их, откройте более короткую ссылку и проверьте, что страница всё ещё работает.
На других языках
JavaScript:
function cleanLink(link) {
const u = new URL(link); // lower-cases host, drops default port
if (!["http:", "https:"].includes(u.protocol)) return link;
const kept = u.search.slice(1).split("&").filter(piece => {
const name = decodeURIComponent(piece.split("=")[0]).toLowerCase();
return piece && !name.startsWith("utm_") && !STRIP.has(name);
});
u.search = kept.length ? "?" + kept.join("&") : "";
return u.toString();
}C#:
var u = new Uri(link);
var kept = u.Query.TrimStart('?').Split('&')
.Where(p => p != "" && !IsTracking(Uri.UnescapeDataString(p.Split('=')[0])));
var b = new UriBuilder(u) { Query = string.Join("&", kept) };Итоги
- Нормализуйте части, не чувствительные к регистру (схему, хост), убирайте порты по умолчанию и превращайте пустой путь в
/. - Убирайте только известные параметры отслеживания, сравнивая их в нижнем регистре после декодирования; всё остальное оставляйте ровно как написано и по порядку.
- Сохраняйте фрагмент, не трогайте не-веб ссылки и никогда не убирайте токены, нужные странице.
Напишите is_tracking_param(name): True, когда имя, декодированное из процентной записи через unquote и переведённое в нижний регистр, начинается с utm_ или есть в STRIP_PARAMS. Затем напишите clean_link(url): ссылки не http/https оставляйте без изменений; переводите в нижний регистр схему и хост (часть user@ сохраняйте ровно как написано, как и квадратные скобки вокруг адреса IPv6); убирайте порт по умолчанию; превращайте пустой путь в /; делите строку запроса по &, убирайте пустые куски и параметры отслеживания, остальное сохраняйте ровно как написано и по порядку; без ?, когда ничего не осталось; сохраняйте #fragment. Оценивается на 40 случаях из LINK_CASES плюс случайных ссылках.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.