Audite os terceiros de um site
Por que isso importa Você não consegue consertar o que não contou. Antes de mudar qualquer coisa em um site, engenheiros de privacidade capturam o carregamento de uma página e listam todo servidor externo com que ela falou. Neste exercício você mesmo escreve essa auditoria, em poucas linhas de Python, e vai reaproveitar a ideia no projeto da Etapa 3.
Pense em um livro de visitas na porta do café. No fim do dia você o lê e pergunta: quem entrou, com que frequência, e alguém deixou alguma coisa para trás? Um log de requisições é o livro de visitas do site.
Arquivo HAR: abreviação de HTTP Archive. O DevTools consegue salvar toda requisição que uma página fez em um único arquivo (aba Network, botão direito, "Save all as HAR"). Cada entrada lista a URL, o tipo de requisição, os cabeçalhos, o status e os cookies definidos. Nosso navegador de prática dá a você a mesma coisa como uma lista de dicts com browser.har().
Uma entrada do mundo de prática fica assim (resumida):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}Arquivos HAR reais não têm top_site; você o leria da URL da página. Nosso log o acrescenta para deixar o código curto.
Três perguntas que uma auditoria responde
- Esta requisição vai para um terceiro? Compare o site da URL com
top_site. Use o site, não o host completo:img.shopb.examplepertence ashopb.example, então é primeira parte. - Quanto cada host externo recebe? Conte as requisições dele e anote se ele definiu cookies.
- Quem vê as pessoas entre sites? Um host que aparece sob dois ou mais valores diferentes de
top_siteconsegue ligar visitas. São esses que você deve olhar primeiro.
Duas funções auxiliares do mundo de prática fazem o trabalho com as URLs para você: host_of(url) dá o host ("img.shopb.example"), e site_of(url) dá o site registrável ("shopb.example").
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.examplePara montar uma contagem por host, o método de dict setdefault(key, default) ajuda: ele retorna o valor de key, guardando antes default se a chave for nova.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}Um equívoco comum: "um host que não define cookies é inofensivo". Um host que aparece em todo site ainda vê o endereço IP e o navegador a cada vez, e pode passar seu próprio ID na URL em vez de em um cookie. Conte requisições e sites, não só cookies.
Em outras linguagens
A mesma auditoria sobre um arquivo HAR exportado do DevTools. Arquivos HAR reais guardam as entradas em log.entries.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());Acertar o site exige a Public Suffix List (para que a.co.uk não seja tratado como parte de co.uk). Use uma biblioteca como tldts em JavaScript ou golang.org/x/net/publicsuffix em Go em vez de dividir nos pontos.
Resumo
- Um log de requisições (HAR) é o livro de visitas de um site: todo servidor externo que o carregamento de uma página contatou.
- Terceiro significa um site diferente do da barra de endereço, não só um nome de host diferente.
- Os hosts vistos sob vários sites diferentes são os que conseguem ligar visitas.
O código inicial captura um log de prática para você: o Sam navega por 12 páginas de lojas enquanto a AdCo define um cookie de ID. Escreva três funções:
is_third_party(entry): retorneTruequandosite_of(entry["url"])for diferente deentry["top_site"], senãoFalse.audit(har): percorra a lista e, para toda entrada de terceiro, monte um dict com a chavehost_of(entry["url"]). Cada valor é um dict com"requests"(quantas entradas foram para esse host),"sites"(uma lista ordenada dos diferentes valores detop_sitesob os quais ele foi visto) e"sets_cookies"(Truese alguma das entradas dele tiver uma listaset_cookiesnão vazia). Retorne o dict. As entradas de primeira parte ficam de fora.watchers(report): dado o dict deaudit, retorne uma lista dos hosts vistos sob dois ou mais sites, em ordem alfabética.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.