Conteúdo do curso Lição 48 de 156 · Construa um bloqueador
Construa um bloqueador

Detectar rastreadores sem uma lista

Por que isso importa Uma lista só conhece rastreadores que alguém já encontrou e anotou. Novos rastreadores aparecem toda semana, e alguns mudam de nome de propósito. Identificar um rastreador pelo comportamento pega aqueles de que nenhuma lista ouviu falar ainda.

Identificando um ladrão de loja sem foto

Um segurança de loja com uma lista de ladrões conhecidos é útil. Mas um bom segurança também observa o comportamento: alguém que visita todas as lojas da rua e anota quem entra. Você não precisa saber o nome da pessoa para ver o que ela está fazendo.

Os rastreadores também têm comportamentos reveladores. Nesta lição você procura três pistas no registro de requisições de um navegador:

  1. Em todo lugar ao mesmo tempo. O mesmo site de terceiros aparece em dois ou mais sites diferentes. É isso que permite que ele junte as suas visitas.
  2. Um ID único no endereço. Um valor de consulta como cid=df0641532d7f que parece aleatório: é um crachá com o seu nome.
  3. Um pixel. Uma "imagem" de 100 bytes ou menos, pequena demais para mostrar qualquer coisa. O único trabalho dela é fazer o seu navegador enviar uma requisição.

Heurística: uma regra prática que costuma acertar, mas nem sempre, como "nuvens escuras significam chuva". Heurísticas conseguem pegar coisas novas, e também podem ser enganadas.

Nossa regra: um site é rastreador se a pista 1 for verdadeira e pelo menos uma das pistas 2 ou 3 for verdadeira. Exigir a pista 1 protege o inofensivo cdn.example: ele está em todas as lojas, mas não envia nenhum ID, e o logo dele é uma imagem real de 2 KB.

Quão aleatório é aleatório? Entropia, em resumo

Para diferenciar um ID de uma palavra normal, medimos o quanto os caracteres dele estão misturados. aaaa não está nada misturado. abcd usa quatro caracteres diferentes na mesma medida.

Entropia de Shannon: um número para o quanto algo é imprevisível, em bits. Para um texto: para cada caractere diferente, pegue a fatia p dele no texto e some -p * log2(p). Mais variedade dá mais bits.

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p) é "quantas vezes eu divido 1 pela metade para chegar a p", dado como um número negativo, e por isso há um sinal de menos. collections.Counter(text) conta cada caractere para você. Você vai encontrar essa mesma fórmula de novo, aplicada a multidões inteiras de navegadores, no próximo módulo.

A entropia sozinha não basta: trail-shoes também é bem misturado. Então looks_like_id também exige pelo menos 8 caracteres, só letras, dígitos, - ou _, e pelo menos uma letra e um dígito. Palavras falham no teste do dígito; datas e URLs falham no teste da letra ou dos caracteres.

Lendo o registro

Cada record em browser.log tem o que você precisa:

  • site_of(record.url) e record.top_site: se forem diferentes, é de terceiros.
  • record.request.params: a consulta como um dict, já decodificada.
  • record.response: None se foi bloqueada; senão, .header("Content-Type") e .size em bytes.

Limites honestos

Um rastreador que aparece em um só site do seu registro passa despercebido, mesmo que esteja em milhares de sites que você ainda não visitou. Um rastreador que esconde IDs num cookie e envia uma imagem de tamanho normal também escapa. E um script de análise de primeira parte que envia IDs para o próprio site nem é de terceiros. É por isso que bloqueadores reais usam listas e heurísticas juntas.

Experimente Abra o DevTools (F12, ou Cmd+Option+I no Mac), vá até a aba Network, filtre por Img e carregue um site de notícias. Ordene por Size. A coluna Size também conta os cabeçalhos da resposta, então um pixel cuja imagem tem só algumas dezenas de bytes ainda aparece com algumas centenas. Qualquer imagem tão pequena, vinda de outro site, muito provavelmente é um pixel. Clique numa e olhe a string de consulta em busca de um valor longo e aleatório.

Em outras linguagens

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

Resumo

  • O comportamento entrega os rastreadores: presentes em muitos sites, enviando IDs aleatórios, buscando pixels.
  • A entropia de Shannon mede o quanto um texto é misturado; IDs aleatórios pontuam alto.
  • Exigir "em 2 ou mais sites" protege ajudantes inofensivos, como uma CDN.
  • Heurísticas pegam rastreadores novos, mas deixam passar alguns; bloqueadores reais as combinam com listas.
Sua vez

Escreva char_entropy(text) (entropia de Shannon em bits por caractere, 0.0 para texto vazio), looks_like_id(value) (pelo menos 8 caracteres, todos em ID_CHARS, pelo menos um dígito e uma letra, entropia de pelo menos 2.0), is_pixel(record) (uma resposta com Content-Type começando com image/ e tamanho de 100 bytes ou menos) e find_trackers(log), que retorna o conjunto de sites que aparecem como terceiros em pelo menos 2 sites principais diferentes e enviaram um valor de consulta com cara de ID ou receberam um pixel. Não use watched.reference.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.