Programme Leçon 51 sur 156 · Construire un bloqueur
Construire un bloqueur

Précision et rappel

Pourquoi c'est important Chaque bloqueur fait deux sortes d'erreurs : il laisse passer des traqueurs, ou il bloque quelque chose dont une page a besoin et casse le site. Dire « mon bloqueur marche » ne veut rien dire tant que tu ne peux pas mettre un chiffre sur les deux. Ces deux chiffres sont la façon dont les chercheurs, et les fabricants de navigateurs, comparent honnêtement les bloqueurs.

Un filet de pêche

Imagine un filet de pêche censé n'attraper que des maquereaux. Deux questions décident s'il est bon :

  • De tout ce qu'il y a dans le filet, quelle part est du maquereau ? (Un filet plein de dauphins est un mauvais filet, même s'il a attrapé tous les maquereaux.)
  • De tous les maquereaux de la mer, combien le filet en a-t-il attrapé ?

La première question est la précision. La deuxième est le rappel. Il te faut les deux : un filet sans trous attrape chaque maquereau et aussi chaque dauphin.

Les quatre cases

Range chaque requête du journal dans l'une de quatre cases :

BloquéeAutorisée
Vraiment un traqueurVrai positif (tp) : attrapé, bienFaux négatif (fn) : une fuite de vie privée
Pas un traqueurFaux positif (fp) : casse possibleVrai négatif (tn) : très bien

Précision : tp / (tp + fp) : de ce que tu as bloqué, la part qui était vraiment des traqueurs. Une faible précision veut dire des pages cassées.

Rappel : tp / (tp + fn) : de toutes les requêtes de traqueurs, la part que tu as bloquée. Un faible rappel veut dire des fuites.

Un exemple détaillé. Un bloqueur arrête 40 requêtes : 36 vers des traqueurs et 4 vers le CDN inoffensif. 12 autres requêtes de traqueurs sont passées. La précision vaut 36 / 40 = 0,9. Le rappel vaut 36 / 48 = 0,75. Donc : quand il bloque, il a en général raison, mais un quart du pistage a quand même lieu.

Les cas limites demandent une décision. Si le bloqueur n'a rien bloqué, la précision serait 0 / 0. On dit 1.0 : rien n'a été bloqué à tort. Si le journal n'a aucune requête de traqueur, le rappel vaut aussi 1.0 : rien n'a fui. Écrire ces conventions fait partie d'une mesure honnête.

La vérité vient de quelque part

Tu ne peux noter que par rapport à un corrigé : l'ensemble des sites qui sont vraiment des traqueurs. Dans le monde d'entraînement, on le connaît. Dans la vraie recherche, les gens le construisent à la main, site par site, ce qui est lent et imparfait. Demande-toi toujours qui a décidé de ce qui compte comme traqueur.

Une idée reçue

« Un rappel plus élevé est toujours mieux. » Bloquer chaque requête tierce donne un rappel parfait, et casse les connexions, les paiements, les cartes et les vidéos. Les gens désactivent alors le bloqueur et finissent sans aucune protection. Un rappel un peu plus faible avec une précision élevée protège souvent plus de gens en pratique.

Essaie Beaucoup d'extensions de blocage montrent le nombre de requêtes bloquées par page. Choisis un site qui fonctionne mal avec le bloqueur activé, puis désactive-le pour ce site et regarde ce qui se met à marcher. Tu viens de trouver un faux positif.

Dans d'autres langages

JavaScript :

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go :

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

Récap

  • Précision : de ce que tu as bloqué, quelle part était vraiment du pistage (faible veut dire casse).
  • Rappel : de tout le pistage, quelle part tu as bloquée (faible veut dire fuites).
  • Énonce tes conventions pour les cas limites, et sache d'où vient le corrigé.
  • Tout bloquer maximise le rappel et ruine la précision.
À ton tour

Écris score(log, trackers). Pour chaque enregistrement, c'est une requête de traqueur si site_of(record.url) in trackers, et elle a été bloquée si record.outcome == "blocked". Compte tp, fp, fn et tn, et renvoie un dict avec ces quatre plus precision (tp / (tp + fp), ou 1.0 quand rien n'a été bloqué) et recall (tp / (tp + fn), ou 1.0 quand il n'y avait aucune requête de traqueur).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.