Programma Lezione 146 di 156 · Misurare il web come un ricercatore
Misurare il web come un ricercatore

Esplora il web simulato

Perché è importante Contare è il modo in cui trasformi una preoccupazione vaga ("i tracker sono ovunque") in un fatto che puoi verificare e ripetere. In questo laboratorio esegui un'esplorazione in stile reale su 1.000 siti simulati e costruisci la tabella da cui parte ogni studio sul tracciamento: quali terze parti compaiono, e su quanti siti.

Un'esplorazione è come un inventario in un negozio: percorri ogni corsia, annota ogni articolo, poi fai la somma. Qui ogni corsia è un sito, e ogni articolo è una richiesta che ha fatto la pagina.

Il web simulato

SimWeb(seed) da watched.leg7b_web crea 1.000 siti immaginari, in ordine di popolarità. web.sites elenca i loro nomi e web.visit(site) restituisce ciò che ha registrato un crawler strumentato:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

Terza parte: un sito diverso da quello che stai visitando che la pagina contatta. Se visiti calmriver.example e carica t.adco.example, la terza parte è adco.example.

Dominio registrabile (sito): la parte di un nome di host che controlla un solo proprietario, come adco.example per t.adco.example. site_of(host) la calcola per te; l'hai scritta tu nella Tappa 6.

Diffusione: quanto è diffuso qualcosa: qui, il numero (o la quota) di siti esplorati su cui compare una terza parte.

Contare con un dict, ordinare con una chiave

Un set tiene ogni valore una volta, ed è perfetto per "quali terze parti ha contattato questa pagina". Per contare tra le pagine, usa un dict e aggiungi uno per ogni pagina in cui compare una terza parte. Per ordinare la tabella, ordina i suoi elementi con una key: una funzione che dice in base a che cosa ordinare.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

Nota che una terza parte conta una volta per sito, per quante richieste faccia lì. Un tracker che spara dieci pixel su un sito è comunque su un sito.

TRACKER_LIST è una blocklist di siti di tracker noti, come li etichettano gli elenchi di filtri pubblici. La quota di siti che caricano almeno un tracker in elenco è il numero da titolo di molti studi.

Un equivoco comune: "Ogni terza parte è un tracker." Anche font, reti di distribuzione dei contenuti e widget di pagamento sono terze parti. La tua tabella mostrerà che alcune delle terze parti più comuni sono innocue, ed è per questo che gli studi etichettano con cura.

In altri linguaggi

Contare la diffusione in JavaScript (Node) e in Go:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

Riepilogo

  • Un'esplorazione visita molti siti e registra ogni richiesta; contare lo trasforma in fatti.
  • Usa site_of per raggruppare gli host in siti, e conta ogni terza parte una volta per sito.
  • Ordina con una chiave per classificare in base alla diffusione, risolvendo le parità per nome.
  • Non ogni terza parte è un tracker; etichetta con un elenco e di' quale elenco hai usato.
Tocca a te

Scrivi cinque funzioni:

  1. third_parties(load): il set dei siti (site_of(request["host"])) contattati dalla pagina, senza load["site"].
  2. prevalence(loads): un dict dal sito di terze parti al numero di caricamenti in cui compare.
  3. top(table, n): le n coppie (site, count) più grandi, prima la più grande, parità in ordine alfabetico.
  4. cookie_setters(loads): il set dei siti di terze parti con almeno una richiesta il cui sets_cookie è vero.
  5. tracker_share(loads, tracker_list): la frazione dei caricamenti che contattano almeno un sito in tracker_list.
Poi riempi loads con web.visit(site) per ogni sito in web.sites, in ordine. I test esplorano anche altri web simulati.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.