Lehrplan Lektion 146 von 156 · Messe das Web wie ein Forscher
Messe das Web wie ein Forscher

Durchsuche das simulierte Web

Warum das wichtig istZählen ist der Weg, wie du eine vage Sorge ("Tracker sind überall") in eine Tatsache verwandelst, die du prüfen und wiederholen kannst. In diesem Lab führst du einen Crawl im echten Stil über 1.000 simulierte Seiten aus und erstellst die Tabelle, mit der jede Tracking-Studie beginnt: welche Drittanbieter erscheinen und auf wie vielen Seiten.

A Crawling ist wie eine Bestandsprüfung in einem Geschäft: gehe jeden Gang ab, schreibe jeden Artikel auf und addiere dann alles. Hier ist jeder Gang eine Seite und jeder Artikel ist eine Anfrage, die die Seite gemacht hat.

Das simulierte Web

SimWeb(seed) von watched.leg7b_web erstellt 1.000 fiktive Seiten, sortiert nach Beliebtheit. web.sites listet ihre Namen auf und web.visit(site) gibt zurück, was ein instrumentierter Crawler aufgezeichnet hat:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

Drittanbieter: eine Seite außer derjenigen, die du besuchst, die die Seite kontaktiert. Wenn du calmriver.example besuchst und es t.adco.example lädt, ist der Drittanbieter adco.example.

Registrierbare Domain (Seite): der Teil eines Hostnamens, den ein Besitzer kontrolliert, wie zum Beispiel adco.example für t.adco.example. site_of(host) berechnet es für dich; du hast es selbst in Etappe 6 geschrieben.

Prevalence: wie weit verbreitet etwas ist: hier die Anzahl (oder der Anteil) der gecrawlten Seiten, auf denen ein Dritter erscheint.

Zählen mit einem Dictionary, Sortieren mit einem Key

A set behält jeden Wert genau einmal, was perfekt für "welche Drittanbieter hat diese Seite kontaktiert" ist. Um über Seiten hinweg zu zählen, verwende ein Dictionary und füge eins für jede Seite hinzu, auf der ein Drittanbieter erscheint. Um die Tabelle zu sortieren, sortiere ihre Elemente mit einem key: eine Funktion, die sagt, wonach zu sortieren ist.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

Beachte, dass ein Dritter einmal pro Seite zählt, egal wie viele Anfragen er dort stellt. Ein Tracker, der zehn Pixel auf einer Seite auslöst, ist immer noch auf einer Seite.

TRACKER_LIST ist eine Blockliste bekannter Tracker-Seiten, so wie öffentliche Filterlisten sie benennen. Der Anteil der Seiten, die mindestens einen gelisteten Tracker laden, ist die Hauptzahl vieler Studien.

A häufiges Missverständnis: "Jeder Drittanbieter ist ein Tracker." Schriftarten, Content Delivery Networks und Zahlungs-Widgets sind auch Drittanbieter. Deine Tabelle wird zeigen, dass einige der häufigsten Drittanbieter harmlos sind, weshalb Studien sorgfältig kennzeichnen.

In anderen Sprachen

Häufigkeit in JavaScript (Node) und Go zählen:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

Zusammenfassung

  • A crawl besucht viele Seiten und zeichnet jede Anfrage auf; das Zählen macht daraus Fakten.
  • Verwende site_of, um hosts in sites zu gruppieren, und zähle jeden dritten party einmal pro site.
  • Sortiere mit einem key, um nach Häufigkeit zu ranken und Gleichstände nach name aufzulösen.
  • Nicht jeder Drittanbieter ist ein Tracker; kennzeichne ihn mit einer Liste und sage, welche Liste du verwendet hast.
Du bist dran

Schreibe fünf Funktionen:

  1. third_parties(load): die Menge der Seiten (site_of(request["host"])), die die Seite kontaktiert hat, ohne load["site"].
  2. prevalence(loads): ein Dictionary von einer Drittanbieter-Seite zur Anzahl der Loads, in denen es erscheint.
  3. top(table, n): die n größten (site, count) Paare, am größten zuerst, Gleichstand alphabetisch.
  4. cookie_setters(loads): die Menge der Drittanbieter-Seiten mit mindestens einer Anfrage, deren sets_cookie wahr ist.
  5. tracker_share(loads, tracker_list): der Anteil der Ladungen, die mindestens eine Stelle in tracker_list.
  6. berühren
Fülle dann loads mit web.visit(site) für jede Seite in web.sites, nacheinander. Tests durchsuchen auch andere simulierte Webs.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.