Auditer les tiers d'un site
Pourquoi c'est important On ne peut pas réparer ce qu'on n'a pas compté. Avant de changer quoi que ce soit sur un site, les ingénieurs de la vie privée capturent un chargement de page et listent chaque serveur extérieur qu'il a contacté. Dans cet exercice, tu écris cet audit toi-même, en quelques lignes de Python, et tu réutiliseras l'idée dans le projet de l'étape 3.
Pense à un livre d'or à l'entrée du café. En fin de journée, tu le lis et tu te demandes : qui est entré, combien de fois, et quelqu'un a-t-il laissé quelque chose derrière lui ? Un journal des requêtes est le livre d'or d'un site.
Fichier HAR : abréviation de HTTP Archive. DevTools peut enregistrer dans un seul fichier chaque requête faite par une page (onglet Network, clic droit, « Save all as HAR »). Chaque entrée liste l'URL, le type de requête, ses en-têtes, le statut et les cookies posés. Notre navigateur d'entraînement te donne la même chose sous forme de liste de dicts avec browser.har().
Une entrée du monde d'entraînement ressemble à ceci (raccourcie) :
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}Les vrais fichiers HAR n'ont pas de top_site ; tu le lirais depuis l'URL de la page. Notre journal l'ajoute pour garder le code court.
Trois questions auxquelles répond un audit
- Cette requête va-t-elle à un tiers ? Compare le site de l'URL avec
top_site. Utilise le site, pas l'hôte complet :img.shopb.exampleappartient àshopb.example, donc c'est du premier. - Combien reçoit chaque hôte extérieur ? Compte ses requêtes et note s'il a posé des cookies.
- Qui voit les gens d'un site à l'autre ? Un hôte qui apparaît sous deux valeurs de
top_sitedifférentes ou plus peut relier des visites. Ce sont ceux à regarder en premier.
Deux assistants du monde d'entraînement font le travail sur les URL pour toi : host_of(url) donne l'hôte ("img.shopb.example"), et site_of(url) donne le site enregistrable ("shopb.example").
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.examplePour construire un compte par hôte, la méthode de dict setdefault(key, default) est pratique : elle renvoie la valeur de key, en rangeant d'abord default si la clé est nouvelle.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}Une idée reçue : « un hôte qui ne pose pas de cookies est inoffensif ». Un hôte présent sur tous les sites voit quand même l'adresse IP et le navigateur à chaque fois, et peut passer son propre identifiant dans l'URL au lieu d'un cookie. Compte les requêtes et les sites, pas seulement les cookies.
Dans d'autres langages
Le même audit sur un fichier HAR exporté depuis DevTools. Les vrais fichiers HAR rangent les entrées sous log.entries.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());Trouver correctement le site demande la Public Suffix List (pour que a.co.uk ne soit pas traité comme une partie de co.uk). Utilise une bibliothèque comme tldts en JavaScript ou golang.org/x/net/publicsuffix en Go plutôt que de découper sur les points.
Récap
- Un journal de requêtes (HAR) est le livre d'or d'un site : chaque serveur extérieur contacté par un chargement de page.
- Tiers veut dire un autre site que celui de la barre d'adresse, pas juste un autre nom d'hôte.
- Les hôtes vus sous plusieurs sites différents sont ceux capables de relier des visites.
Le code de départ capture pour toi un journal d'entraînement : Sam parcourt 12 pages de boutiques pendant qu'AdCo pose un cookie d'identifiant. Écris trois fonctions :
is_third_party(entry): renvoieTruequandsite_of(entry["url"])est différent deentry["top_site"], sinonFalse.audit(har): parcours la liste et, pour chaque entrée tierce, construis un dict dont la clé esthost_of(entry["url"]). Chaque valeur est un dict avec"requests"(combien d'entrées sont allées à cet hôte),"sites"(une liste triée des différentes valeurs detop_sitesous lesquelles il a été vu) et"sets_cookies"(Truesi l'une de ses entrées a une listeset_cookiesnon vide). Renvoie le dict. Les entrées du premier sont laissées de côté.watchers(report): à partir du dict renvoyé paraudit, renvoie une liste des hôtes vus sous deux sites ou plus, triée par ordre alphabétique.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.