Kurrikulum Leson 146 van 156 · Meet die web soos 'n navorser
Meet die web soos 'n navorser

Krap die gesimuleerde web

Waarom dit saak maak Tel is hoe jy 'n vae bekommernis ("trackers is oral") in 'n feit verander wat jy kan nagaan en herhaal. In hierdie laboratorium doen jy 'n regte crawl oor 1,000 gesimuleerde webwerwe en bou jy die tabel waarmee elke tracking studie begin: watterderdepies verskyn, en op hoeveel webwerwe.

A crawl is soos 'n voorraadkontrole in 'n winkel: loop elke gang deur, skryf elke item neer, en tel dan bymekaar op. Hier is elke gang 'n site, en elke item is 'n request wat die bladsy gemaak het.

Die gesimuleerde web

SimWeb(seed) vanaf watched.leg7b_web maak 1,000 fiktiewe webwerwe, gerangskik volgens gewildheid. web.sites lys hulle name en web.visit(site) gee terug wat 'n instrumenteerde crawler opgeneem het:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

Derde party: 'n webwerf anders as die een wat jy besoek wat die bladsy kontak. As jy calmriver.example besoek en dit laai t.adco.example, is die derde party adco.example.

Registreerbare domein (webwerf): die deel van 'n gasheernaam wat een eienaar beheer, soos adco.example vir t.adco.example. site_of(host) bereken dit vir jou; jy het dit self in Leg 6 geskryf.

Prevalence: hoe wydverspreid iets is: hier is die aantal (of deel) van gekrapte webwerwe waarop 'n derde party verskyn.

Tel met 'n dict, sorteer met 'n key

A set hou elke waarde net een keer, wat perfek is vir "watterderde partye het hierdie bladsy gekontak". Om oor bladsye te tel, gebruik 'n dict en voeg een by vir elke bladsy waar 'n derde party verskyn. Om die tabel te sorteer, sorteer sy items met 'n key: 'n function wat sê waarna om te sorteer.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

Let op dat 'n derde party een keer per webwerf getel word, ongeag hoeveel versoeke dit daar maak. 'n Tracker wat tien pixels op een webwerf afvuur, is steeds op een webwerf.

TRACKER_LIST is 'n bloklys van bekende tracker-webwerwe, soos die manier waarop publieke filterlyste hulle label. Die deel van webwerwe wat ten minste een gelyste tracker laai, is die hoofsyfer van baie studies.

'n algemene wanbelewing: "Elkederde party is 'n tracker." Lettertipes, inhoudslewingsnetwerke en betalingswidgets is ook derdepartye. Jou tabel sal wys dat sommige van die algemeenste derdepartye onskadelik is, dit is waarom studies versigtig etikette gee.

In ander tale

Tel van voorkoms in JavaScript (Node) en Go:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

Opsomming

  • A kruip besoek baie webwerwe en rekord elke versoek; dit tel dit om in feite te verander.
  • Gebruik site_of om hosts in sites te groepeer, en tel elke derde party een keer per site.
  • Sorteer met 'n sleutel om te rangskik volgens voorkoms, en breek gelykmatiges op naam.
  • Nie elkederde party is 'n tracker nie; merk met 'n lys en sê watter lys jy gebruik het.
Jou beurt

Skryf vyf funksies:

  1. third_parties(load): die stel van webwerwe (site_of(request["host"])) wat die bladsyde gekontak het, sonder load["site"].
  2. prevalence(loads): 'n dict van diederde party-webwerf tot die aantal laaie waarin dit verskyn.
  3. top(table, n): die n grootste (site, count) pare, grootste eerste, gelykhede alfabeties.
  4. cookie_setters(loads): die stel vanderde-party webwerwe met ten minste een versoek waarvan die sets_cookie waar is.
  5. tracker_share(loads, tracker_list): die fraksie van laaies wat kontak met ten minste een plek in tracker_list.
Vul dan loads met web.visit(site) vir elke webwerf in web.sites, in volgorde. Toetse kruip ook ander gesimuleerde webbluwe.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.