Programma Les 146 van 156 · Meet het web als een onderzoeker
Meet het web als een onderzoeker

Kraal het gesimuleerde web

Waarom dit ertoe doetTellen is hoe je een vage zorg ("trackers zijn overal") verandert in een feit dat je kunt controleren en herhalen. In deze lab voer je een echte crawl uit over 1.000 gesimuleerde sites en bouw je de tabel die elke tracking studie begint: welke third parties verschijnen, en op hoeveel sites.

A crawl is als een voorraadcheck in een winkel: loop elke gang door, schrijf elk item op, en tel dan alles bij elkaar op. Hier is elke gang een site, en elk item is een request die de pagina maakte.

De gesimuleerde web

SimWeb(seed) van watched.leg7b_web maakt 1,000 fictieve sites, gerangschikt op populariteit. web.sites lijst hun namen op en web.visit(site) geeft terug wat een instrumentele crawler heeft vastgelegd:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

Derde partij: een site anders dan de site die je bezoekt die de pagina contacteert. Als je calmriver.example bezoekt en het laadt t.adco.example, dan is de derde partij adco.example.

Registreerbaar domein (site): het deel van een hostnaam dat één eigenaar beheert, zoals adco.example voor t.adco.example. site_of(host) berekent het voor je; je hebt het zelf geschreven in Etappe 6.

Prevalence: hoe wijdverspreid iets is: hier, het aantal (of het aandeel) van gecrawlde sites waarop een derde partij verschijnt.

Tellen met een dictionary, sorteren met een key

A set houdt elke waarde één keer bij, wat perfect is voor "welke derden heeft deze pagina gecontacteerd". Om over pagina's heen te tellen, gebruik je een dict en voeg je er één toe voor elke pagina waarop een derde partij verschijnt. Om de tabel te sorteren, sorteer je de items met een key: een functie die zegt waarover gesorteerd moet worden.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

Let op dat een derde partij één keer per site telt, ongeacht hoeveel verzoeken hij daar doet. Een tracker die tien pixels op één site afvuurt, is nog steeds op één site.

TRACKER_LIST is een blocklist van bekende tracker sites, zoals publieke filterlijsten deze labelen. Het aandeel sites dat ten minste één vermelde tracker laadt is de belangrijkste cijfer van veel studies.

Een veelvoorkomende misvatting: "Elke derde partij is een tracker." Lettertypen, content delivery networks en betaalwidgets zijn ook derde partijen. Je tabel laat zien dat sommige van de meest voorkomende derde partijen onschadelijk zijn, dat is waarom studies zorgvuldig labelen.

In andere talen

Het tellen van prevalentie in JavaScript (Node) en Go:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

Samenvatting

  • A crawl bezoekt veel sites en legt elke request vast; het tellen maakt daar feiten van.
  • Gebruik site_of om hosts in sites te groeperen, en tel elke derde partij één keer per site.
  • Sorteer met een key om te rangschikken op prevalentie, waarbij gelijke waarden worden onderscheiden door naam.
  • Niet elke derde partij is een tracker; label met een lijst en zeg welke lijst je hebt gebruikt.
Jij bent aan de beurt

Schrijf vijf functies:

  1. third_parties(load): de set sites (site_of(request["host"])) die de pagina heeft gecontacteerd, zonder load["site"].
  2. prevalence(loads): een dictionary van een externe site naar het aantal keren dat het voorkomt in de loads.
  3. top(table, n): de n grootste (site, count) paren, het grootste eerst, bij gelijkheid alfabetisch.
  4. cookie_setters(loads): de set van externe sites met ten minste één request waarvan de sets_cookie waar is.
  5. tracker_share(loads, tracker_list): het deel van de loads dat contact maakt met ten minste één site in tracker_list.
Vul dan loads met web.visit(site) voor elke site in web.sites, in volgorde. Tests doorzoeken ook andere gesimuleerde webs.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.