Prüfe die Drittanbieter einer Website
Warum das wichtig istDu kannst nichts reparieren, was du nicht gezählt hast. Bevor Privacy Engineers etwas auf einer Seite ändern, erfassen sie einen Seitenaufruf und listen jeden externen Server auf, mit dem sie kommuniziert hat. In dieser Übung schreibst du dieses Audit selbst in wenigen Zeilen Python und du wirst die Idee im Etappe 3 Projekt wiederverwenden.
Stell dir ein Gästebuch an der Cafétür vor. Am Ende des Tages liest du es und fragst: wer kam herein, wie oft, und hat jemand etwas zurückgelassen? Ein Request Log ist das Gästebuch der Website.
HAR file: Kurzform für HTTP Archive. DevTools kann jeden Request einer Seite in einer Datei speichern (Network Tab, Rechtsklick, "Save all as HAR"). Jeder Eintrag listet die URL, die Art des Requests, seine Headers, den Status und alle gesetzten Cookies auf. Unser Übungsbrowser gibt dir das Gleiche als eine Liste von Dicts mit browser.har().
Ein Eintrag aus der Übungswelt sieht so aus (gekürzt):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}Echte HAR Dateien haben kein top_site; du würdest es aus der Seiten-URL lesen. Unser Log fügt es hinzu, um den Code kurz zu halten.
Drei Fragen, die ein Audit beantwortet
- Ist diese Anfrage an einen Dritten? Vergleiche die site der URL mit
top_site. Nutze die site, nicht den vollständigen host:img.shopb.examplegehört zushopb.example, also ist es eine erste Partei. - Wie viel bekommt jeder externe Host? Zähle seine Anfragen und notiere, ob er Cookies gesetzt hat.
- Wer sieht Menschen über verschiedene Seiten hinweg? Ein Host, der unter zwei oder mehr verschiedenen
top_siteWerten erscheint, kann Besuche verknüpfen. Das sind die, die man zuerst anschauen muss.
Zwei Helfer aus der Praxiswelt erledigen die URL Arbeit für dich: host_of(url) gibt den Host ("img.shopb.example") an, und site_of(url) gibt die registrierbare Seite ("shopb.example") an.
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.exampleUm eine Anzahl pro Host zu erstellen, ist die dict Methode setdefault(key, default) praktisch: sie gibt den Wert für key zurück und speichert zuerst default, falls der Schlüssel neu ist.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}A häufiges Missverständnis: "ein Host, der keine Cookies setzt, ist harmlos". Ein Host, der auf jeder Seite erscheint, sieht jedes Mal immer noch die IP-Adresse und den Browser und kann seine eigene ID in der URL anstatt eines Cookies übergeben. Zähle Anfragen und Seiten, nicht nur Cookies.
In anderen Sprachen
Die gleiche Prüfung über eine HAR-Datei, die aus DevTools exportiert wurde. Echte HAR-Dateien behalten Einträge unter log.entries.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());Die site richtig zu erhalten erfordert die Public Suffix List (damit a.co.uk nicht als Teil von co.uk behandelt wird). Nutze eine Bibliothek wie tldts in JavaScript oder golang.org/x/net/publicsuffix in Go anstatt auf Punkten zu splitten.
Zusammenfassung
- A request log (HAR) ist das Gästebuch einer Seite: jeder externe Server, den ein Seitenaufruf kontaktiert hat.
- Drittanbieter bedeutet eine andere site von der Adressleiste, nicht nur ein anderer Hostname.
- Hosts, die unter mehreren verschiedenen Seiten gesehen werden, sind diejenigen, die Besuche verknüpfen können.
Der Startcode erfasst ein Übungsprotokoll für dich: Sam durchstöbert 12 Shopseiten während AdCo ein ID cookie setzt. Schreibe drei Funktionen:
is_third_party(entry): gibTruezurück, wennsite_of(entry["url"])ungleichentry["top_site"]ist, ansonstenFalse.audit(har): gehe die Liste durch und erstelle für jeden third-party Eintrag ein Dictionary, das nachhost_of(entry["url"])sortiert ist. Jeder Wert ist ein Dictionary mit"requests"(wie viele Einträge zu diesem Host gingen),"sites"(eine sorted Liste der verschiedenentop_siteWerte, unter denen es gesehen wurde) und"sets_cookies"(Trueob einer seiner Einträge eine nicht leereset_cookiesListe hat). Gib das Dictionary zurück. First-party Einträge werden weggelassen.watchers(report): gib das dict vonauditzurück, gib eine liste der hosts zurück, die unter two or more sites gesehen wurden, alphabetisch sortiert.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.