Précision et rappel
Pourquoi c'est important Chaque bloqueur fait deux sortes d'erreurs : il laisse passer des traqueurs, ou il bloque quelque chose dont une page a besoin et casse le site. Dire « mon bloqueur marche » ne veut rien dire tant que tu ne peux pas mettre un chiffre sur les deux. Ces deux chiffres sont la façon dont les chercheurs, et les fabricants de navigateurs, comparent honnêtement les bloqueurs.
Un filet de pêche
Imagine un filet de pêche censé n'attraper que des maquereaux. Deux questions décident s'il est bon :
- De tout ce qu'il y a dans le filet, quelle part est du maquereau ? (Un filet plein de dauphins est un mauvais filet, même s'il a attrapé tous les maquereaux.)
- De tous les maquereaux de la mer, combien le filet en a-t-il attrapé ?
La première question est la précision. La deuxième est le rappel. Il te faut les deux : un filet sans trous attrape chaque maquereau et aussi chaque dauphin.
Les quatre cases
Range chaque requête du journal dans l'une de quatre cases :
| Bloquée | Autorisée | |
|---|---|---|
| Vraiment un traqueur | Vrai positif (tp) : attrapé, bien | Faux négatif (fn) : une fuite de vie privée |
| Pas un traqueur | Faux positif (fp) : casse possible | Vrai négatif (tn) : très bien |
Précision : tp / (tp + fp) : de ce que tu as bloqué, la part qui était vraiment des traqueurs. Une faible précision veut dire des pages cassées.
Rappel : tp / (tp + fn) : de toutes les requêtes de traqueurs, la part que tu as bloquée. Un faible rappel veut dire des fuites.
Un exemple détaillé. Un bloqueur arrête 40 requêtes : 36 vers des traqueurs et 4 vers le CDN inoffensif. 12 autres requêtes de traqueurs sont passées. La précision vaut 36 / 40 = 0,9. Le rappel vaut 36 / 48 = 0,75. Donc : quand il bloque, il a en général raison, mais un quart du pistage a quand même lieu.
Les cas limites demandent une décision. Si le bloqueur n'a rien bloqué, la précision serait 0 / 0. On dit 1.0 : rien n'a été bloqué à tort. Si le journal n'a aucune requête de traqueur, le rappel vaut aussi 1.0 : rien n'a fui. Écrire ces conventions fait partie d'une mesure honnête.
La vérité vient de quelque part
Tu ne peux noter que par rapport à un corrigé : l'ensemble des sites qui sont vraiment des traqueurs. Dans le monde d'entraînement, on le connaît. Dans la vraie recherche, les gens le construisent à la main, site par site, ce qui est lent et imparfait. Demande-toi toujours qui a décidé de ce qui compte comme traqueur.
Une idée reçue
« Un rappel plus élevé est toujours mieux. » Bloquer chaque requête tierce donne un rappel parfait, et casse les connexions, les paiements, les cartes et les vidéos. Les gens désactivent alors le bloqueur et finissent sans aucune protection. Un rappel un peu plus faible avec une précision élevée protège souvent plus de gens en pratique.
Essaie Beaucoup d'extensions de blocage montrent le nombre de requêtes bloquées par page. Choisis un site qui fonctionne mal avec le bloqueur activé, puis désactive-le pour ce site et regarde ce qui se met à marcher. Tu viens de trouver un faux positif.
Dans d'autres langages
JavaScript :
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go :
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}Récap
- Précision : de ce que tu as bloqué, quelle part était vraiment du pistage (faible veut dire casse).
- Rappel : de tout le pistage, quelle part tu as bloquée (faible veut dire fuites).
- Énonce tes conventions pour les cas limites, et sache d'où vient le corrigé.
- Tout bloquer maximise le rappel et ruine la précision.
Écris score(log, trackers). Pour chaque enregistrement, c'est une requête de traqueur si site_of(record.url) in trackers, et elle a été bloquée si record.outcome == "blocked". Compte tp, fp, fn et tn, et renvoie un dict avec ces quatre plus precision (tp / (tp + fp), ou 1.0 quand rien n'a été bloqué) et recall (tp / (tp + fn), ou 1.0 quand il n'y avait aucune requête de traqueur).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.