Programme Leçon 71 sur 156 · Les tiers sur ton propre site
Les tiers sur ton propre site

Auditer les tiers d'un site

Pourquoi c'est important On ne peut pas réparer ce qu'on n'a pas compté. Avant de changer quoi que ce soit sur un site, les ingénieurs de la vie privée capturent un chargement de page et listent chaque serveur extérieur qu'il a contacté. Dans cet exercice, tu écris cet audit toi-même, en quelques lignes de Python, et tu réutiliseras l'idée dans le projet de l'étape 3.

Pense à un livre d'or à l'entrée du café. En fin de journée, tu le lis et tu te demandes : qui est entré, combien de fois, et quelqu'un a-t-il laissé quelque chose derrière lui ? Un journal des requêtes est le livre d'or d'un site.

Fichier HAR : abréviation de HTTP Archive. DevTools peut enregistrer dans un seul fichier chaque requête faite par une page (onglet Network, clic droit, « Save all as HAR »). Chaque entrée liste l'URL, le type de requête, ses en-têtes, le statut et les cookies posés. Notre navigateur d'entraînement te donne la même chose sous forme de liste de dicts avec browser.har().

Une entrée du monde d'entraînement ressemble à ceci (raccourcie) :

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

Les vrais fichiers HAR n'ont pas de top_site ; tu le lirais depuis l'URL de la page. Notre journal l'ajoute pour garder le code court.

Trois questions auxquelles répond un audit

  1. Cette requête va-t-elle à un tiers ? Compare le site de l'URL avec top_site. Utilise le site, pas l'hôte complet : img.shopb.example appartient à shopb.example, donc c'est du premier.
  2. Combien reçoit chaque hôte extérieur ? Compte ses requêtes et note s'il a posé des cookies.
  3. Qui voit les gens d'un site à l'autre ? Un hôte qui apparaît sous deux valeurs de top_site différentes ou plus peut relier des visites. Ce sont ceux à regarder en premier.

Deux assistants du monde d'entraînement font le travail sur les URL pour toi : host_of(url) donne l'hôte ("img.shopb.example"), et site_of(url) donne le site enregistrable ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Pour construire un compte par hôte, la méthode de dict setdefault(key, default) est pratique : elle renvoie la valeur de key, en rangeant d'abord default si la clé est nouvelle.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

Une idée reçue : « un hôte qui ne pose pas de cookies est inoffensif ». Un hôte présent sur tous les sites voit quand même l'adresse IP et le navigateur à chaque fois, et peut passer son propre identifiant dans l'URL au lieu d'un cookie. Compte les requêtes et les sites, pas seulement les cookies.

Dans d'autres langages

Le même audit sur un fichier HAR exporté depuis DevTools. Les vrais fichiers HAR rangent les entrées sous log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

Trouver correctement le site demande la Public Suffix List (pour que a.co.uk ne soit pas traité comme une partie de co.uk). Utilise une bibliothèque comme tldts en JavaScript ou golang.org/x/net/publicsuffix en Go plutôt que de découper sur les points.

Récap

  • Un journal de requêtes (HAR) est le livre d'or d'un site : chaque serveur extérieur contacté par un chargement de page.
  • Tiers veut dire un autre site que celui de la barre d'adresse, pas juste un autre nom d'hôte.
  • Les hôtes vus sous plusieurs sites différents sont ceux capables de relier des visites.
À ton tour

Le code de départ capture pour toi un journal d'entraînement : Sam parcourt 12 pages de boutiques pendant qu'AdCo pose un cookie d'identifiant. Écris trois fonctions :

  1. is_third_party(entry) : renvoie True quand site_of(entry["url"]) est différent de entry["top_site"], sinon False.
  2. audit(har) : parcours la liste et, pour chaque entrée tierce, construis un dict dont la clé est host_of(entry["url"]). Chaque valeur est un dict avec "requests" (combien d'entrées sont allées à cet hôte), "sites" (une liste triée des différentes valeurs de top_site sous lesquelles il a été vu) et "sets_cookies" (True si l'une de ses entrées a une liste set_cookies non vide). Renvoie le dict. Les entrées du premier sont laissées de côté.
  3. watchers(report) : à partir du dict renvoyé par audit, renvoie une liste des hôtes vus sous deux sites ou plus, triée par ordre alphabétique.
Enfin, affiche chaque observateur avec son nombre de requêtes. Les tests utilisent d'autres journaux, donc la réponse ne peut pas être tapée à la main.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.