Faça o crawl da web simulada
Por que isso importa Contar é como você transforma uma preocupação vaga ("há rastreadores em todo lugar") em um fato que dá para conferir e repetir. Neste laboratório você roda um crawl no estilo real em 1.000 sites simulados e monta a tabela com que todo estudo de rastreamento começa: quais terceiros aparecem, e em quantos sites.
Um crawl é como um inventário em uma loja: percorra todo corredor, anote todo item e depois some. Aqui cada corredor é um site, e cada item é uma requisição que a página fez.
A web simulada
SimWeb(seed) de watched.leg7b_web cria 1.000 sites fictícios, ordenados por popularidade. web.sites lista os nomes deles e web.visit(site) retorna o que um crawler instrumentado registrou:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleTerceiro: um site diferente do que você está visitando, que a página contata. Se você visita calmriver.example e ele carrega t.adco.example, o terceiro é adco.example.
Domínio registrável (site): a parte de um nome de host que um único dono controla, como adco.example para t.adco.example. site_of(host) calcula isso para você; você mesmo o escreveu na Etapa 6.
Prevalência: o quão espalhado algo está: aqui, o número (ou a fração) de sites do crawl em que um terceiro aparece.
Contando com um dict, ordenando com uma key
Um set guarda cada valor uma vez, o que é perfeito para "quais terceiros esta página contatou". Para contar entre páginas, use um dict e some um para cada página em que um terceiro aparece. Para ordenar a tabela, ordene os itens dela com uma key: uma função que diz pelo que ordenar.
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.Repare que um terceiro conta uma vez por site, não importa quantas requisições ele faça ali. Um rastreador que dispara dez pixels em um site ainda está em um site.
TRACKER_LIST é uma lista de bloqueio de sites rastreadores conhecidos, do jeito que as listas de filtros públicas os rotulam. A fração de sites que carregam pelo menos um rastreador da lista é o número principal de muitos estudos.
Um equívoco comum: "todo terceiro é um rastreador." Fontes, redes de distribuição de conteúdo e widgets de pagamento também são terceiros. Sua tabela vai mostrar que alguns dos terceiros mais comuns são inofensivos, e é por isso que os estudos rotulam com cuidado.
Em outras linguagens
Contando a prevalência em JavaScript (Node) e em Go:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}Resumo
- Um crawl visita muitos sites e registra toda requisição; contar transforma isso em fatos.
- Use site_of para agrupar os hosts em sites, e conte cada terceiro uma vez por site.
- Ordene com uma key para classificar pela prevalência, desempatando pelo nome.
- Nem todo terceiro é um rastreador; rotule com uma lista e diga qual lista usou.
Escreva cinco funções:
third_parties(load): o set de sites (site_of(request["host"])) que a página contatou, semload["site"].prevalence(loads): um dict de site de terceiro para o número de carregamentos em que ele aparece.top(table, n): osnmaiores pares(site, count), do maior para o menor, com empates em ordem alfabética.cookie_setters(loads): o set de sites de terceiros com pelo menos uma requisição cujosets_cookieé verdadeiro.tracker_share(loads, tracker_list): a fração dos carregamentos que contatam pelo menos um site detracker_list.
loads com web.visit(site) para cada site de web.sites, em ordem. Os testes também fazem o crawl de outras webs simuladas.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.