Explorer le web simulé
Pourquoi c'est important Compter, c'est ainsi qu'on transforme une inquiétude vague (« les traqueurs sont partout ») en un fait qu'on peut vérifier et refaire. Dans ce labo, tu fais une exploration réaliste de 1 000 sites simulés et tu construis le tableau par lequel commence chaque étude sur le pistage : quels tiers apparaissent, et sur combien de sites.
Une exploration, c'est comme un inventaire dans un magasin : parcourir chaque rayon, noter chaque article, puis additionner. Ici, chaque rayon est un site, et chaque article est une requête faite par la page.
Le web simulé
SimWeb(seed) de watched.leg7b_web fabrique 1 000 sites fictifs, classés par popularité. web.sites liste leurs noms et web.visit(site) renvoie ce qu'a enregistré un crawler instrumenté :
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleTiers : un site autre que celui que tu visites et que la page contacte. Si tu visites calmriver.example et qu'il charge t.adco.example, le tiers est adco.example.
Domaine enregistrable (site) : la partie d'un nom d'hôte que contrôle un propriétaire, comme adco.example pour t.adco.example. site_of(host) le calcule pour toi ; tu l'as écrit toi-même à l'étape 6.
Prévalence : à quel point une chose est répandue : ici, le nombre (ou la part) des sites explorés sur lesquels un tiers apparaît.
Compter avec un dict, trier avec une clé
Un set garde chaque valeur une fois, parfait pour « quels tiers cette page a-t-elle contactés ». Pour compter sur l'ensemble des pages, utilise un dict et ajoute un pour chaque page où un tiers apparaît. Pour trier le tableau, trie ses éléments avec une key : une fonction qui dit selon quoi trier.
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.Remarque qu'un tiers compte une fois par site, quel que soit le nombre de requêtes qu'il y fait. Un traqueur qui déclenche dix pixels sur un site n'est quand même que sur un site.
TRACKER_LIST est une liste de blocage de sites traqueurs connus, à la façon dont les listes de filtres publiques les étiquettent. La part des sites qui chargent au moins un traqueur listé est le chiffre phare de beaucoup d'études.
Une idée reçue : « Chaque tiers est un traqueur. » Les polices, les réseaux de diffusion de contenu et les widgets de paiement sont aussi des tiers. Ton tableau montrera que certains des tiers les plus courants sont inoffensifs, c'est pourquoi les études étiquettent avec soin.
Dans d'autres langages
Compter la prévalence en JavaScript (Node) et en Go :
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}Récap
- Une exploration visite beaucoup de sites et enregistre chaque requête ; compter transforme ça en faits.
- Utilise site_of pour regrouper les hôtes en sites, et compte chaque tiers une fois par site.
- Trie avec une clé pour classer par prévalence, en départageant les égalités par le nom.
- Tous les tiers ne sont pas des traqueurs ; étiquette avec une liste et dis laquelle tu as utilisée.
Écris cinq fonctions :
third_parties(load): l'ensemble des sites (site_of(request["host"])) que la page a contactés, sansload["site"].prevalence(loads): un dict du site tiers vers le nombre de chargements où il apparaît.top(table, n): lesnplus grandes paires(site, count), la plus grande d'abord, égalités par ordre alphabétique.cookie_setters(loads): l'ensemble des sites tiers qui ont au moins une requête dontsets_cookieest vrai.tracker_share(loads, tracker_list): la part des chargements qui contactent au moins un site detracker_list.
loads avec web.visit(site) pour chaque site de web.sites, dans l'ordre. Les tests explorent aussi d'autres webs simulés.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.