Programma Les 71 van 156 · Derden op je eigen site
Derden op je eigen site

Audit de derde partijen van een site

Waarom dit ertoe doet Je kunt niet repareren wat je niet hebt geteld. Voordat privacy engineers iets op een site veranderen, leggen ze een paginalading vast en maken ze een lijst van elke externe server waarmee het contact had. In deze oefening schrijf je die audit zelf in een paar regels Python en je zult het idee hergebruiken in het Etappe 3 project.

Denk aan een gastenboek bij de deur van een café. Aan het einde van de dag lees je het en vraag je: wie kwam er binnen, hoe vaak, en liet iemand iets achter? Een request log is het gastenboek van de website.

HAR file: kort voor HTTP Archive. DevTools kan elke request die een pagina maakt opslaan in één bestand (Network tab, rechtermuisknop, "Save all as HAR"). Elke vermelding bevat de URL, het type request, de headers, de status en alle cookies die zijn ingesteld. Onze oefenbrowser geeft je hetzelfde als een lijst van dicts met browser.har().

Eén invoer uit de praktijkwereld ziet er zo uit (afgekapt):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

Echte HAR-bestanden hebben geen top_site; je zou het van de pagina-URL lezen. Onze log voegt het toe om de code kort te houden.

Drie vragen waar een audit antwoord op geeft

  1. Is dit verzoek aan een derde partij? Vergelijk de site van de URL met top_site. Gebruik de site, niet de volledige host: img.shopb.example behoort tot shopb.example, dus het is een eerste partij.
  2. Hoeveel krijgt elke externe host? Tel de requests en noteer of het cookies heeft gezet.
  3. Wie ziet mensen over verschillende sites? Een host die verschijnt onder twee of meer verschillende top_site waarden kan bezoeken koppelen. Dat zijn degenen waar je eerst naar moet kijken.

Twee helpers uit de praktijkwereld doen het URL werk voor je: host_of(url) geeft de host ("img.shopb.example"), en site_of(url) geeft de registreerbare site ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Om een telling per host te bouwen, is de dict methode setdefault(key, default) handig: het geeft de waarde voor key terug, waarbij het default eerst opslaat als de sleutel nieuw is.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

Een veelvoorkomende misvatting: "een host die geen cookies zet is onschadelijk". Een host die op elke site verschijnt ziet nog steeds het IP-adres en de browser elke keer, en kan zijn eigen ID in de URL doorgeven in plaats van een cookie. Tel verzoeken en sites, niet alleen cookies.

In andere talen

Dezelfde audit over een HAR-bestand geëxporteerd uit DevTools. Echte HAR-bestanden houden items onder log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

Het juiste site krijgen vereist de Public Suffix List (zodat a.co.uk niet wordt behandeld als onderdeel van co.uk). Gebruik een bibliotheek zoals tldts in JavaScript of golang.org/x/net/publicsuffix in Go in plaats van splitsen op punten.

Samenvatting

  • A request log (HAR) is het gastenboek van een site: elke externe server die een paginalading heeft gecontacteerd.
  • Derde partij betekent een andere site dan de adresbalk, niet alleen een andere hostnaam.
  • Hosts die onder verschillende sites worden gezien zijn degenen die bezoeken kunnen koppelen.
Jij bent aan de beurt

De startcode legt een praktijklog voor je vast: Sam bekijkt 12 winkelpagina's terwijl AdCo een ID cookie instelt. Schrijf drie functies:

  1. is_third_party(entry): geef True terug wanneer site_of(entry["url"]) verschilt van entry["top_site"], anders False.
  2. audit(har): ga door de lijst en bouw voor elke third-party invoer een dictionary met host_of(entry["url"]) als sleutel. Elke waarde is een dictionary met "requests" (hoeveel invoeren gingen naar die host), "sites" (een sorted lijst van de verschillende top_site waarden waaronder het werd gezien) en "sets_cookies" (True of een van de invoeren een niet-lege set_cookies lijst heeft). Geef de dictionary terug. First-party invoeren worden overgeslagen.
  3. watchers(report): geef de dict van audit, retourneer een lijst van de hosts die onder two or more sites zijn gezien, gesorteerd op alfabetische volgorde.
Print tenslotte elke watcher met de bijbehorende request count. De tests gebruiken andere logs, dus het antwoord kan niet handmatig worden ingetypt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.