Conteúdo do curso Lição 46 de 156 · Construa um bloqueador
Construa um bloqueador

Como as listas de bloqueio funcionam

Por que isso importa A maior parte do bloqueio de rastreadores no mundo hoje, em extensões e em navegadores, começa com um arquivo de texto simples cheio de regras. Quando você consegue ler esse arquivo, enxerga exatamente o que um bloqueador vai e não vai impedir, e por que um site às vezes quebra.

Um segurança com uma lista

Imagine um segurança na porta de uma balada segurando uma lista impressa: "não deixe estas pessoas entrarem", mais um bilhete curto: "exceto estes frequentadores". O segurança não julga ninguém; só confere os nomes na lista.

Um bloqueador funciona do mesmo jeito. Toda vez que uma página pede alguma coisa (um script, uma imagem, um pixel), o bloqueador confere o endereço na lista e diz permitir ou bloquear.

Lista de filtros: um arquivo de texto com regras, uma por linha, que diz a um bloqueador quais requisições impedir. A família mais conhecida é a EasyList, escrita na sintaxe do Adblock Plus, que a maioria dos bloqueadores entende.

Requisição: um pedido do seu navegador a um servidor, como "me envie https://adco.example/tag.js". Uma página costuma fazer muitas requisições.

A sintaxe, num pequeno subconjunto de prática

Listas reais têm dezenas de milhares de linhas e muitos recursos extras. Nós usamos uma lista de prática pequena e inventada, com a mesma sintaxe básica. Aqui está ela (fica em watched.leg2b_blocker.PRACTICE_LIST):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
A linha se parece comSignificado
! ... ou [...]Um comentário ou um cabeçalho. Pule.
||adco.example^Uma regra de domínio: bloqueie adco.example e todos os subdomínios, como img.adco.example. O ^ marca o fim do nome do host.
/p.gif?Uma regra de padrão: bloqueie qualquer endereço que contenha este texto. Um * no meio significa "quaisquer caracteres aqui".
@@...Uma exceção: permita, mesmo que uma regra de bloqueio também corresponda.
...$third-partyUma opção: aplique esta regra só quando a requisição vai para um site diferente da página em que você está.
##.ad-bannerUma regra cosmética: esconde parte da página. Ela nunca impede uma requisição, então um bloqueador de rede a ignora.

Terceiro: uma requisição para um site diferente daquele na sua barra de endereço. Em shopa.example, uma requisição para adco.example é de terceiros; uma para a própria shopa.example é de primeira parte.

Transformando uma linha em dados

Programas não querem reler o texto a cada requisição. Então o primeiro trabalho é o parsing: transformar cada linha num pequeno dict uma única vez, na inicialização.

Parsing: ler um texto e transformá-lo em dados estruturados que um programa pode usar diretamente, como transformar uma lista de compras escrita em caixinhas marcadas num formulário.

Nosso dict de regra tem quatro chaves:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

Duas ferramentas de string do Python fazem a maior parte do trabalho. line.startswith("@@") verifica como uma linha começa. line.rsplit("$", 1) divide uma vez no último $, separando o texto da regra e as opções, então "a$b".rsplit("$", 1) é ["a", "b"].

Um equívoco comum

"Listas de bloqueio bloqueiam anúncios." Muitas bloqueiam, mas as listas que importam para a privacidade (como a EasyPrivacy) miram rastreadores: pixels, beacons e scripts de análise, que você nunca vê na tela. Uma página pode não mostrar nenhum anúncio e ainda assim enviar a sua visita para cinco empresas.

Experimente Num navegador de computador com uma extensão de bloqueio instalada, abra as configurações da extensão e encontre as listas de filtros. A maioria permite ver uma lista como texto simples. Procure linhas que começam com || e @@: são exatamente as regras que você vai interpretar agora.

Em outras linguagens

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

Resumo

  • Uma lista de filtros é texto simples: regras de domínio (||host^), regras de padrão, exceções (@@) e opções ($third-party).
  • Regras cosméticas (##) escondem partes da página e nunca impedem uma requisição.
  • Interprete uma vez em dicts simples, para que a correspondência depois seja rápida e clara.
Sua vez

Escreva parse_rule(line), que retorna None para linhas vazias, de comentário (!), de cabeçalho ([) e cosméticas (## ou #@#), e caso contrário um dict com as chaves exception, kind ("domain" ou "pattern"), value (em minúsculas, sem ||, o ^ final, @@ ou as $options) e third_party. Depois escreva parse_list(text), que retorna a lista de regras de todas as linhas, em ordem, deixando de fora os resultados None. Não importe o parser do próprio curso.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.