Programma Lezione 51 di 156 · Costruisci un blocker
Costruisci un blocker

Precisione e richiamo

Perché è importante Ogni blocker fa due tipi di errore: lascia passare i tracker, o blocca qualcosa di cui una pagina ha bisogno e rompe il sito. Dire "il mio blocker funziona" non significa niente finché non sai dare un numero a entrambi. Questi due numeri sono il modo con cui ricercatori e produttori di browser confrontano onestamente i blocker.

Una rete da pesca

Immagina una rete da pesca pensata per prendere solo sgombri. Due domande decidono se è buona:

  • Di tutto ciò che c'è nella rete, quanto è sgombro? (Una rete piena di delfini è una cattiva rete, anche se ha preso tutti gli sgombri.)
  • Di tutti gli sgombri nel mare, quanti ne ha presi la rete?

La prima domanda è la precisione. La seconda è il richiamo. Ti servono entrambe: una rete senza buchi prende ogni sgombro ma anche ogni delfino.

Le quattro caselle

Smista ogni richiesta del registro in una di quattro caselle:

BloccataPermessa
Davvero un trackerVero positivo (tp): preso, beneFalso negativo (fn): una fuga di privacy
Non un trackerFalso positivo (fp): possibile rotturaVero negativo (tn): tutto a posto

Precisione: tp / (tp + fp): di ciò che hai bloccato, la quota che era davvero tracker. Una precisione bassa significa pagine rotte.

Richiamo: tp / (tp + fn): di tutte le richieste dei tracker, la quota che hai bloccato. Un richiamo basso significa fughe.

Un esempio svolto. Un blocker ferma 40 richieste: 36 verso tracker e 4 verso la CDN innocua. Altre 12 richieste dei tracker sono passate. La precisione è 36 / 40 = 0,9. Il richiamo è 36 / 48 = 0,75. Quindi: quando blocca, di solito ha ragione, ma un quarto del tracciamento avviene comunque.

I casi limite richiedono una decisione. Se il blocker non avesse bloccato niente, la precisione sarebbe 0 / 0. Noi diciamo 1.0: niente è stato bloccato per errore. Se il registro non ha proprio richieste di tracker, anche il richiamo è 1.0: niente è trapelato. Mettere per iscritto queste convenzioni fa parte del misurare onestamente.

La verità viene da qualche parte

Puoi dare un punteggio solo rispetto a una chiave di risposta: l'insieme dei siti che sono davvero tracker. Nel mondo di esercitazione la conosciamo. Nella ricerca vera, le persone la costruiscono a mano, sito per sito, e questo è lento e imperfetto. Chiediti sempre chi ha deciso che cosa conta come tracker.

Un equivoco comune

"Un richiamo più alto è sempre meglio." Bloccare ogni richiesta di terze parti dà un richiamo perfetto, e rompe accessi, pagamenti, mappe e video. Le persone allora spengono il blocker e finiscono senza nessuna protezione. Un richiamo un po' più basso con una precisione alta spesso protegge più persone, nella pratica.

Provalo Molte estensioni blocker mostrano il numero di richieste bloccate per ogni pagina. Scegli un sito che si comporta male con il blocker attivo, poi spegnilo per quel sito e guarda che cosa inizia a funzionare. Hai appena trovato un falso positivo.

In altri linguaggi

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

Riepilogo

  • Precisione: di ciò che hai bloccato, quanto era davvero tracciamento (bassa significa rotture).
  • Richiamo: di tutto il tracciamento, quanto ne hai bloccato (basso significa fughe).
  • Dichiara le tue convenzioni per i casi limite, e sappi da dove arriva la chiave di risposta.
  • Bloccare tutto massimizza il richiamo e rovina la precisione.
Tocca a te

Scrivi score(log, trackers). Per ogni record, è una richiesta di tracker se site_of(record.url) in trackers ed è stata bloccata se record.outcome == "blocked". Conta tp, fp, fn e tn, e restituisci un dict con questi quattro più precision (tp / (tp + fp), oppure 1.0 quando non è stato bloccato niente) e recall (tp / (tp + fn), oppure 1.0 quando non c'erano richieste di tracker).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.