Программа курса Урок 46 из 156 · Создайте блокировщик
Создайте блокировщик

Как работают черные списки

Почему это важно Большинство блокировщиков в мире сегодня, в расширениях и в браузерах, начинаются с обычного текстового файла правил. Как только вы сможете прочитать этот файл, вы увидите точно, что блокировщик будет и не будет останавливать, и почему сайт иногда ломается.

A bouncer со списком

Представьте вышибалу у двери клуба с распечатанным списком: "не пускать этих людей", плюс короткую заметку: "кроме этих постоянных гостей". Вышибала никого не судит; он просто сверяет имена со списком.

A blocker работает так же. Каждый раз когда страница запрашивает что-то (скрипт, изображение, пиксель), блокировщик проверяет адрес по своему list и говорит allow или block.

Список фильтров: текстовый файл с правилами, по одному на строку, который говорит блокировщику, какие запросы останавливать. Самая известная семья это EasyList, написанная в синтаксисе Adblock Plus, который понимают большинство блокировщиков.

Request: один запрос из вашего браузера к серверу, например "отправьте мне https://adco.example/tag.js". Одна страница обычно делает много запросов.

Синтаксис, небольшая практическая подмножность

Реальные списки содержат десятки тысяч строк и много дополнительных функций. Мы используем небольшой вымышленный учебный список с тем же основным синтаксисом. Вот он (он находится в watched.leg2b_blocker.PRACTICE_LIST):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
Строка выглядит какЗначение
! ... или [...] комментарий или заголовок. Пропустите его.
||adco.example^domain rule: блокируйте adco.example и каждый поддомен, например img.adco.example. ^ отмечает конец имени хоста.
/p.gif?pattern rule: блокируйте любой адрес, который содержит этот текст. * внутри означает "любые символы здесь".
@@...exception: разрешите его, даже если правило блока тоже подходит.
...$third-partyoption: применяйте это правило только тогда, когда запрос идет на другой сайт, отличный от страницы, на которой вы находитесь.
##.ad-bannercosmetic rule: скрывает часть страницы. Оно никогда не останавливает запрос, поэтому сетевой блокировщик пропускает его.

Сторонний: запрос к другому сайту, отличному от того, что в вашей адресной строке. На shopa.example запрос к adco.example является сторонним; запрос к самому shopa.example является первой стороной.

Превращение строки в данные

Программы не хотят перечитывать текст для каждого запроса. Поэтому первая задача это parsing: превращение каждой строки в маленький словарь один раз при запуске.

Parsing: чтение текста и превращение его в структурированные данные, которые программа может использовать напрямую, как превращение написанного списка покупок в отмеченные галочками поля на форме.

Наш dict правил имеет четыре ключа:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

Две инструмента для строк в Python делают большую часть работы. line.startswith("@@") проверяет, как начинается строка. line.rsplit("$", 1) разделяет один раз по last $, давая текст правила и варианты, так что "a$b".rsplit("$", 1) это ["a", "b"].

A распространенное заблуждение

"Blocklists block ads." Многие из них это делают, но списки, которые важны для приватности (такие как EasyPrivacy), нацелены на трекеры: пиксели, маяки и скрипты аналитики, которые вы никогда не видите на экране. Страница может вообще не показывать рекламу и все равно отправлять данные о вашем визите пяти компаниям.

Попробуйте В десктопном браузере с установленным расширением блокировщиком откройте настройки расширения и найдите его списки фильтров. Большинство позволяют просмотреть список как обычный текст. Ищи строки, начинающиеся с || и @@: это именно те правила, которые вы сейчас будете парсить.

В других языках

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

Итог

  • A список filter это простой текст: правила домена (||host^), правила паттерна, исключения (@@) и опции ($third-party).
  • Косметические правила (##) скрывают части страницы и никогда не останавливают запрос.
  • Один раз разобрать в простые словари, чтобы сопоставление позже было быстрым и понятным.
Твоя очередь

Напишите parse_rule(line), которая возвращает None для пустых строк, комментариев (!), заголовков ([) и косметических (## или #@#) строк, и иначе словарь с ключами exception, kind ("domain" или "pattern"), value (в нижнем регистре, без ||, завершающего ^, @@ или $options) и third_party. Затем напишите parse_list(text), которая возвращает список правил для каждой строки по порядку, исключая результаты None. Не импортируйте собственный парсер курса.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.