Как работают черные списки
Почему это важно Большинство блокировщиков в мире сегодня, в расширениях и в браузерах, начинаются с обычного текстового файла правил. Как только вы сможете прочитать этот файл, вы увидите точно, что блокировщик будет и не будет останавливать, и почему сайт иногда ломается.
A bouncer со списком
Представьте вышибалу у двери клуба с распечатанным списком: "не пускать этих людей", плюс короткую заметку: "кроме этих постоянных гостей". Вышибала никого не судит; он просто сверяет имена со списком.
A blocker работает так же. Каждый раз когда страница запрашивает что-то (скрипт, изображение, пиксель), блокировщик проверяет адрес по своему list и говорит allow или block.
Список фильтров: текстовый файл с правилами, по одному на строку, который говорит блокировщику, какие запросы останавливать. Самая известная семья это EasyList, написанная в синтаксисе Adblock Plus, который понимают большинство блокировщиков.
Request: один запрос из вашего браузера к серверу, например "отправьте мне https://adco.example/tag.js". Одна страница обычно делает много запросов.
Синтаксис, небольшая практическая подмножность
Реальные списки содержат десятки тысяч строк и много дополнительных функций. Мы используем небольшой вымышленный учебный список с тем же основным синтаксисом. Вот он (он находится в watched.leg2b_blocker.PRACTICE_LIST):
[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)
||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party
! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?
! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored| Строка выглядит как | Значение |
|---|---|
! ... или [...] | комментарий или заголовок. Пропустите его. |
||adco.example^ | domain rule: блокируйте adco.example и каждый поддомен, например img.adco.example. ^ отмечает конец имени хоста. |
/p.gif? | pattern rule: блокируйте любой адрес, который содержит этот текст. * внутри означает "любые символы здесь". |
@@... | exception: разрешите его, даже если правило блока тоже подходит. |
...$third-party | option: применяйте это правило только тогда, когда запрос идет на другой сайт, отличный от страницы, на которой вы находитесь. |
##.ad-banner | cosmetic rule: скрывает часть страницы. Оно никогда не останавливает запрос, поэтому сетевой блокировщик пропускает его. |
Сторонний: запрос к другому сайту, отличному от того, что в вашей адресной строке. На shopa.example запрос к adco.example является сторонним; запрос к самому shopa.example является первой стороной.
Превращение строки в данные
Программы не хотят перечитывать текст для каждого запроса. Поэтому первая задача это parsing: превращение каждой строки в маленький словарь один раз при запуске.
Parsing: чтение текста и превращение его в структурированные данные, которые программа может использовать напрямую, как превращение написанного списка покупок в отмеченные галочками поля на форме.
Наш dict правил имеет четыре ключа:
parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
# 'value': 'metrics.example', 'third_party': True}
parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
# 'value': '/assets/p.gif?', 'third_party': False}
parse_rule("! just a comment")
# NoneДве инструмента для строк в Python делают большую часть работы. line.startswith("@@") проверяет, как начинается строка. line.rsplit("$", 1) разделяет один раз по last $, давая текст правила и варианты, так что "a$b".rsplit("$", 1) это ["a", "b"].
A распространенное заблуждение
"Blocklists block ads." Многие из них это делают, но списки, которые важны для приватности (такие как EasyPrivacy), нацелены на трекеры: пиксели, маяки и скрипты аналитики, которые вы никогда не видите на экране. Страница может вообще не показывать рекламу и все равно отправлять данные о вашем визите пяти компаниям.
Попробуйте В десктопном браузере с установленным расширением блокировщиком откройте настройки расширения и найдите его списки фильтров. Большинство позволяют просмотреть список как обычный текст. Ищи строки, начинающиеся с || и @@: это именно те правила, которые вы сейчас будете парсить.
В других языках
JavaScript:
function parseRule(line) {
line = line.trim();
if (!line || line.startsWith("!") || line.startsWith("[")) return null;
if (line.includes("##") || line.includes("#@#")) return null;
const exception = line.startsWith("@@");
if (exception) line = line.slice(2);
let thirdParty = false;
const at = line.lastIndexOf("$");
if (at >= 0) {
thirdParty = line.slice(at + 1).split(",").includes("third-party");
line = line.slice(0, at);
}
const isDomain = line.startsWith("||");
const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
return { exception, kind: isDomain ? "domain" : "pattern",
value: value.toLowerCase(), thirdParty };
}Rust:
struct Rule { exception: bool, domain: bool, value: String, third_party: bool }
fn parse_rule(line: &str) -> Option<Rule> {
let mut l = line.trim();
if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
return None;
}
let exception = l.starts_with("@@");
if exception { l = &l[2..]; }
let mut third_party = false;
if let Some((rule, opts)) = l.rsplit_once('$') {
third_party = opts.split(',').any(|o| o == "third-party");
l = rule;
}
let domain = l.starts_with("||");
let v = if domain { l[2..].trim_end_matches('^') } else { l };
Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}Итог
- A список filter это простой текст: правила домена (
||host^), правила паттерна, исключения (@@) и опции ($third-party). - Косметические правила (
##) скрывают части страницы и никогда не останавливают запрос. - Один раз разобрать в простые словари, чтобы сопоставление позже было быстрым и понятным.
Напишите parse_rule(line), которая возвращает None для пустых строк, комментариев (!), заголовков ([) и косметических (## или #@#) строк, и иначе словарь с ключами exception, kind ("domain" или "pattern"), value (в нижнем регистре, без ||, завершающего ^, @@ или $options) и third_party. Затем напишите parse_list(text), которая возвращает список правил для каждой строки по порядку, исключая результаты None. Не импортируйте собственный парсер курса.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.