Conteúdo do curso Lição 71 de 156 · Terceiros no seu próprio site
Terceiros no seu próprio site

Audite os terceiros de um site

Por que isso importa Você não consegue consertar o que não contou. Antes de mudar qualquer coisa em um site, engenheiros de privacidade capturam o carregamento de uma página e listam todo servidor externo com que ela falou. Neste exercício você mesmo escreve essa auditoria, em poucas linhas de Python, e vai reaproveitar a ideia no projeto da Etapa 3.

Pense em um livro de visitas na porta do café. No fim do dia você o lê e pergunta: quem entrou, com que frequência, e alguém deixou alguma coisa para trás? Um log de requisições é o livro de visitas do site.

Arquivo HAR: abreviação de HTTP Archive. O DevTools consegue salvar toda requisição que uma página fez em um único arquivo (aba Network, botão direito, "Save all as HAR"). Cada entrada lista a URL, o tipo de requisição, os cabeçalhos, o status e os cookies definidos. Nosso navegador de prática dá a você a mesma coisa como uma lista de dicts com browser.har().

Uma entrada do mundo de prática fica assim (resumida):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

Arquivos HAR reais não têm top_site; você o leria da URL da página. Nosso log o acrescenta para deixar o código curto.

Três perguntas que uma auditoria responde

  1. Esta requisição vai para um terceiro? Compare o site da URL com top_site. Use o site, não o host completo: img.shopb.example pertence a shopb.example, então é primeira parte.
  2. Quanto cada host externo recebe? Conte as requisições dele e anote se ele definiu cookies.
  3. Quem vê as pessoas entre sites? Um host que aparece sob dois ou mais valores diferentes de top_site consegue ligar visitas. São esses que você deve olhar primeiro.

Duas funções auxiliares do mundo de prática fazem o trabalho com as URLs para você: host_of(url) dá o host ("img.shopb.example"), e site_of(url) dá o site registrável ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Para montar uma contagem por host, o método de dict setdefault(key, default) ajuda: ele retorna o valor de key, guardando antes default se a chave for nova.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

Um equívoco comum: "um host que não define cookies é inofensivo". Um host que aparece em todo site ainda vê o endereço IP e o navegador a cada vez, e pode passar seu próprio ID na URL em vez de em um cookie. Conte requisições e sites, não só cookies.

Em outras linguagens

A mesma auditoria sobre um arquivo HAR exportado do DevTools. Arquivos HAR reais guardam as entradas em log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

Acertar o site exige a Public Suffix List (para que a.co.uk não seja tratado como parte de co.uk). Use uma biblioteca como tldts em JavaScript ou golang.org/x/net/publicsuffix em Go em vez de dividir nos pontos.

Resumo

  • Um log de requisições (HAR) é o livro de visitas de um site: todo servidor externo que o carregamento de uma página contatou.
  • Terceiro significa um site diferente do da barra de endereço, não só um nome de host diferente.
  • Os hosts vistos sob vários sites diferentes são os que conseguem ligar visitas.
Sua vez

O código inicial captura um log de prática para você: o Sam navega por 12 páginas de lojas enquanto a AdCo define um cookie de ID. Escreva três funções:

  1. is_third_party(entry): retorne True quando site_of(entry["url"]) for diferente de entry["top_site"], senão False.
  2. audit(har): percorra a lista e, para toda entrada de terceiro, monte um dict com a chave host_of(entry["url"]). Cada valor é um dict com "requests" (quantas entradas foram para esse host), "sites" (uma lista ordenada dos diferentes valores de top_site sob os quais ele foi visto) e "sets_cookies" (True se alguma das entradas dele tiver uma lista set_cookies não vazia). Retorne o dict. As entradas de primeira parte ficam de fora.
  3. watchers(report): dado o dict de audit, retorne uma lista dos hosts vistos sob dois ou mais sites, em ordem alfabética.
Por fim, imprima cada observador com sua contagem de requisições. Os testes usam outros logs, então a resposta não pode ser digitada à mão.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.