Esplora il web simulato
Perché è importante Contare è il modo in cui trasformi una preoccupazione vaga ("i tracker sono ovunque") in un fatto che puoi verificare e ripetere. In questo laboratorio esegui un'esplorazione in stile reale su 1.000 siti simulati e costruisci la tabella da cui parte ogni studio sul tracciamento: quali terze parti compaiono, e su quanti siti.
Un'esplorazione è come un inventario in un negozio: percorri ogni corsia, annota ogni articolo, poi fai la somma. Qui ogni corsia è un sito, e ogni articolo è una richiesta che ha fatto la pagina.
Il web simulato
SimWeb(seed) da watched.leg7b_web crea 1.000 siti immaginari, in ordine di popolarità. web.sites elenca i loro nomi e web.visit(site) restituisce ciò che ha registrato un crawler strumentato:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleTerza parte: un sito diverso da quello che stai visitando che la pagina contatta. Se visiti calmriver.example e carica t.adco.example, la terza parte è adco.example.
Dominio registrabile (sito): la parte di un nome di host che controlla un solo proprietario, come adco.example per t.adco.example. site_of(host) la calcola per te; l'hai scritta tu nella Tappa 6.
Diffusione: quanto è diffuso qualcosa: qui, il numero (o la quota) di siti esplorati su cui compare una terza parte.
Contare con un dict, ordinare con una chiave
Un set tiene ogni valore una volta, ed è perfetto per "quali terze parti ha contattato questa pagina". Per contare tra le pagine, usa un dict e aggiungi uno per ogni pagina in cui compare una terza parte. Per ordinare la tabella, ordina i suoi elementi con una key: una funzione che dice in base a che cosa ordinare.
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.Nota che una terza parte conta una volta per sito, per quante richieste faccia lì. Un tracker che spara dieci pixel su un sito è comunque su un sito.
TRACKER_LIST è una blocklist di siti di tracker noti, come li etichettano gli elenchi di filtri pubblici. La quota di siti che caricano almeno un tracker in elenco è il numero da titolo di molti studi.
Un equivoco comune: "Ogni terza parte è un tracker." Anche font, reti di distribuzione dei contenuti e widget di pagamento sono terze parti. La tua tabella mostrerà che alcune delle terze parti più comuni sono innocue, ed è per questo che gli studi etichettano con cura.
In altri linguaggi
Contare la diffusione in JavaScript (Node) e in Go:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}Riepilogo
- Un'esplorazione visita molti siti e registra ogni richiesta; contare lo trasforma in fatti.
- Usa site_of per raggruppare gli host in siti, e conta ogni terza parte una volta per sito.
- Ordina con una chiave per classificare in base alla diffusione, risolvendo le parità per nome.
- Non ogni terza parte è un tracker; etichetta con un elenco e di' quale elenco hai usato.
Scrivi cinque funzioni:
third_parties(load): il set dei siti (site_of(request["host"])) contattati dalla pagina, senzaload["site"].prevalence(loads): un dict dal sito di terze parti al numero di caricamenti in cui compare.top(table, n): lencoppie(site, count)più grandi, prima la più grande, parità in ordine alfabetico.cookie_setters(loads): il set dei siti di terze parti con almeno una richiesta il cuisets_cookieè vero.tracker_share(loads, tracker_list): la frazione dei caricamenti che contattano almeno un sito intracker_list.
loads con web.visit(site) per ogni sito in web.sites, in ordine. I test esplorano anche altri web simulati.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.