Krap die gesimuleerde web
Waarom dit saak maak Tel is hoe jy 'n vae bekommernis ("trackers is oral") in 'n feit verander wat jy kan nagaan en herhaal. In hierdie laboratorium doen jy 'n regte crawl oor 1,000 gesimuleerde webwerwe en bou jy die tabel waarmee elke tracking studie begin: watterderdepies verskyn, en op hoeveel webwerwe.
A crawl is soos 'n voorraadkontrole in 'n winkel: loop elke gang deur, skryf elke item neer, en tel dan bymekaar op. Hier is elke gang 'n site, en elke item is 'n request wat die bladsy gemaak het.
Die gesimuleerde web
SimWeb(seed) vanaf watched.leg7b_web maak 1,000 fiktiewe webwerwe, gerangskik volgens gewildheid. web.sites lys hulle name en web.visit(site) gee terug wat 'n instrumenteerde crawler opgeneem het:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleDerde party: 'n webwerf anders as die een wat jy besoek wat die bladsy kontak. As jy calmriver.example besoek en dit laai t.adco.example, is die derde party adco.example.
Registreerbare domein (webwerf): die deel van 'n gasheernaam wat een eienaar beheer, soos adco.example vir t.adco.example. site_of(host) bereken dit vir jou; jy het dit self in Leg 6 geskryf.
Prevalence: hoe wydverspreid iets is: hier is die aantal (of deel) van gekrapte webwerwe waarop 'n derde party verskyn.
Tel met 'n dict, sorteer met 'n key
A set hou elke waarde net een keer, wat perfek is vir "watterderde partye het hierdie bladsy gekontak". Om oor bladsye te tel, gebruik 'n dict en voeg een by vir elke bladsy waar 'n derde party verskyn. Om die tabel te sorteer, sorteer sy items met 'n key: 'n function wat sê waarna om te sorteer.
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.Let op dat 'n derde party een keer per webwerf getel word, ongeag hoeveel versoeke dit daar maak. 'n Tracker wat tien pixels op een webwerf afvuur, is steeds op een webwerf.
TRACKER_LIST is 'n bloklys van bekende tracker-webwerwe, soos die manier waarop publieke filterlyste hulle label. Die deel van webwerwe wat ten minste een gelyste tracker laai, is die hoofsyfer van baie studies.
'n algemene wanbelewing: "Elkederde party is 'n tracker." Lettertipes, inhoudslewingsnetwerke en betalingswidgets is ook derdepartye. Jou tabel sal wys dat sommige van die algemeenste derdepartye onskadelik is, dit is waarom studies versigtig etikette gee.
In ander tale
Tel van voorkoms in JavaScript (Node) en Go:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}Opsomming
- A kruip besoek baie webwerwe en rekord elke versoek; dit tel dit om in feite te verander.
- Gebruik site_of om hosts in sites te groepeer, en tel elke derde party een keer per site.
- Sorteer met 'n sleutel om te rangskik volgens voorkoms, en breek gelykmatiges op naam.
- Nie elkederde party is 'n tracker nie; merk met 'n lys en sê watter lys jy gebruik het.
Skryf vyf funksies:
third_parties(load): die stel van webwerwe (site_of(request["host"])) wat die bladsyde gekontak het, sonderload["site"].prevalence(loads): 'n dict van diederde party-webwerf tot die aantal laaie waarin dit verskyn.top(table, n): diengrootste(site, count)pare, grootste eerste, gelykhede alfabeties.cookie_setters(loads): die stel vanderde-party webwerwe met ten minste een versoek waarvan diesets_cookiewaar is.tracker_share(loads, tracker_list): die fraksie van laaies wat kontak met ten minste een plek intracker_list.
loads met web.visit(site) vir elke webwerf in web.sites, in volgorde. Toetse kruip ook ander gesimuleerde webbluwe.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.