Programma Lezione 71 di 156 · Le terze parti sul tuo sito
Le terze parti sul tuo sito

Analizzare le terze parti di un sito

Perché è importante Non puoi correggere ciò che non hai contato. Prima di cambiare qualsiasi cosa su un sito, gli ingegneri della privacy catturano il caricamento di una pagina ed elencano ogni server esterno con cui ha parlato. In questo esercizio scrivi tu quell'analisi, in poche righe di Python, e riuserai l'idea nel progetto della Tappa 3.

Pensa a un libro degli ospiti alla porta del bar. A fine giornata lo leggi e ti chiedi: chi è entrato, quanto spesso, e qualcuno ha lasciato qualcosa? Un registro delle richieste è il libro degli ospiti di un sito web.

File HAR: abbreviazione di HTTP Archive. DevTools può salvare ogni richiesta che ha fatto una pagina in un unico file (scheda Network, tasto destro, "Save all as HAR"). Ogni voce elenca l'URL, il tipo di richiesta, le sue intestazioni, lo stato e gli eventuali cookie impostati. Il nostro browser di esercitazione ti dà la stessa cosa come lista di dict con browser.har().

Una voce del mondo di esercitazione è così (accorciata):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

I file HAR veri non hanno top_site; lo leggeresti dall'URL della pagina. Il nostro registro lo aggiunge per tenere breve il codice.

Tre domande a cui risponde un'analisi

  1. Questa richiesta va a una terza parte? Confronta il sito dell'URL con top_site. Usa il sito, non l'host completo: img.shopb.example appartiene a shopb.example, quindi è di prima parte.
  2. Quanto riceve ogni host esterno? Conta le sue richieste e annota se ha impostato cookie.
  3. Chi vede le persone tra siti diversi? Un host che compare sotto due o più valori diversi di top_site può collegare le visite. Sono quelli da guardare per primi.

Due funzioni di aiuto del mondo di esercitazione fanno per te il lavoro sugli URL: host_of(url) dà l'host ("img.shopb.example"), e site_of(url) dà il sito registrabile ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Per costruire un conteggio per host, il metodo dei dict setdefault(key, default) è comodo: restituisce il valore per key, salvando prima default se la chiave è nuova.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

Un equivoco comune: "un host che non imposta cookie è innocuo". Un host che compare su ogni sito vede comunque ogni volta l'indirizzo IP e il browser, e può passare il proprio ID nell'URL invece che in un cookie. Conta richieste e siti, non solo i cookie.

In altri linguaggi

La stessa analisi su un file HAR esportato da DevTools. I file HAR veri tengono le voci sotto log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

Calcolare bene il sito richiede la Public Suffix List (così a.co.uk non viene trattato come parte di co.uk). Usa una libreria come tldts in JavaScript o golang.org/x/net/publicsuffix in Go invece di dividere sui punti.

Riepilogo

  • Un registro delle richieste (HAR) è il libro degli ospiti di un sito: ogni server esterno contattato da un caricamento di pagina.
  • Terza parte significa un sito diverso da quello nella barra degli indirizzi, non solo un nome di host diverso.
  • Gli host visti sotto diversi siti sono quelli in grado di collegare le visite.
Tocca a te

Il codice di partenza cattura per te un registro di esercitazione: Sam naviga 12 pagine di negozi mentre AdCo imposta un cookie con un ID. Scrivi tre funzioni:

  1. is_third_party(entry): restituisci True quando site_of(entry["url"]) è diverso da entry["top_site"], altrimenti False.
  2. audit(har): percorri la lista e, per ogni voce di terze parti, costruisci un dict con chiave host_of(entry["url"]). Ogni valore è un dict con "requests" (quante voci sono andate a quell'host), "sites" (una lista ordinata dei diversi valori di top_site sotto cui è stato visto) e "sets_cookies" (True se una qualsiasi delle sue voci ha una lista set_cookies non vuota). Restituisci il dict. Le voci di prima parte vengono lasciate fuori.
  3. watchers(report): dato il dict di audit, restituisci una lista degli host visti sotto due o più siti, in ordine alfabetico.
Infine stampa ogni osservatore con il suo numero di richieste. I test usano altri registri, quindi la risposta non si può scrivere a mano.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.