Conteúdo do curso Lição 146 de 156 · Meça a web como um pesquisador
Meça a web como um pesquisador

Faça o crawl da web simulada

Por que isso importa Contar é como você transforma uma preocupação vaga ("há rastreadores em todo lugar") em um fato que dá para conferir e repetir. Neste laboratório você roda um crawl no estilo real em 1.000 sites simulados e monta a tabela com que todo estudo de rastreamento começa: quais terceiros aparecem, e em quantos sites.

Um crawl é como um inventário em uma loja: percorra todo corredor, anote todo item e depois some. Aqui cada corredor é um site, e cada item é uma requisição que a página fez.

A web simulada

SimWeb(seed) de watched.leg7b_web cria 1.000 sites fictícios, ordenados por popularidade. web.sites lista os nomes deles e web.visit(site) retorna o que um crawler instrumentado registrou:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

Terceiro: um site diferente do que você está visitando, que a página contata. Se você visita calmriver.example e ele carrega t.adco.example, o terceiro é adco.example.

Domínio registrável (site): a parte de um nome de host que um único dono controla, como adco.example para t.adco.example. site_of(host) calcula isso para você; você mesmo o escreveu na Etapa 6.

Prevalência: o quão espalhado algo está: aqui, o número (ou a fração) de sites do crawl em que um terceiro aparece.

Contando com um dict, ordenando com uma key

Um set guarda cada valor uma vez, o que é perfeito para "quais terceiros esta página contatou". Para contar entre páginas, use um dict e some um para cada página em que um terceiro aparece. Para ordenar a tabela, ordene os itens dela com uma key: uma função que diz pelo que ordenar.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

Repare que um terceiro conta uma vez por site, não importa quantas requisições ele faça ali. Um rastreador que dispara dez pixels em um site ainda está em um site.

TRACKER_LIST é uma lista de bloqueio de sites rastreadores conhecidos, do jeito que as listas de filtros públicas os rotulam. A fração de sites que carregam pelo menos um rastreador da lista é o número principal de muitos estudos.

Um equívoco comum: "todo terceiro é um rastreador." Fontes, redes de distribuição de conteúdo e widgets de pagamento também são terceiros. Sua tabela vai mostrar que alguns dos terceiros mais comuns são inofensivos, e é por isso que os estudos rotulam com cuidado.

Em outras linguagens

Contando a prevalência em JavaScript (Node) e em Go:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

Resumo

  • Um crawl visita muitos sites e registra toda requisição; contar transforma isso em fatos.
  • Use site_of para agrupar os hosts em sites, e conte cada terceiro uma vez por site.
  • Ordene com uma key para classificar pela prevalência, desempatando pelo nome.
  • Nem todo terceiro é um rastreador; rotule com uma lista e diga qual lista usou.
Sua vez

Escreva cinco funções:

  1. third_parties(load): o set de sites (site_of(request["host"])) que a página contatou, sem load["site"].
  2. prevalence(loads): um dict de site de terceiro para o número de carregamentos em que ele aparece.
  3. top(table, n): os n maiores pares (site, count), do maior para o menor, com empates em ordem alfabética.
  4. cookie_setters(loads): o set de sites de terceiros com pelo menos uma requisição cujo sets_cookie é verdadeiro.
  5. tracker_share(loads, tracker_list): a fração dos carregamentos que contatam pelo menos um site de tracker_list.
Depois preencha loads com web.visit(site) para cada site de web.sites, em ordem. Os testes também fazem o crawl de outras webs simuladas.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.