Präzision und Recall
Warum das wichtig istJeder Blocker macht zwei Arten von Fehlern: Er lässt Tracker durch oder er blockiert etwas, das eine Seite braucht und bricht die Website. Zu sagen "mein Blocker funktioniert" bedeutet nichts, bis du beide mit einer Zahl belegen kannst. Diese zwei Zahlen sind die Art und Weise, wie Forscher und Browserhersteller Blocker ehrlich vergleichen.
A Fischnetz
Stell dir ein Fischernetz vor, das nur Makrelen fangen soll. Zwei Fragen entscheiden, ob es gut ist:
- Von allem im Netz, wie viel ist Makrele? (Ein Netz voller Delfine ist ein schlechtes Netz, selbst wenn es alle Makrelen gefangen hat.)
- Von all den Makrelen im Meer, wie viele hat das Netz gefangen?
Die erste Frage ist Präzision. Die zweite ist Recall. Du brauchst beides: ein Netz ohne Löcher fängt jeden Makrele und jeden Delfin auch.
Die vier Boxen
Sortiere jede Anfrage im Log in eine der vier Boxen:
| Blocked | Erlaubt | |
|---|---|---|
| Wirklich ein Tracker | True positive (tp): erwischt, gut | Falsch-negativ (fn): ein Datenschutzleck |
| Kein Tracker | Falsches Positiv (fp): möglicher Bruch | True negative (tn): okay |
Precision: tp / (tp + fp): von dem, was du blockiert hast, der Anteil, der wirklich Tracker waren. Eine niedrige Präzision bedeutet kaputte Seiten.
Recall: tp / (tp + fn): von allen Tracker-Anfragen, der Anteil, den du blockiert hast. Ein niedriger Recall bedeutet Lecks.
A praktisches Beispiel. Ein Blocker stoppt 40 Anfragen: 36 an Tracker und 4 an das harmlose CDN. Weitere 12 Tracker Anfragen kamen durch. Präzision ist 36 / 40 = 0.9. Recall ist 36 / 48 = 0.75. Also: wenn er blockiert, hat er meistens recht, aber ein Viertel des Trackings passiert immer noch.
Edge cases brauchen eine Entscheidung. Wenn der blocker nichts blockiert hat, wäre die precision 0 / 0. Wir sagen 1.0: nichts wurde fälschlicherweise blockiert. Wenn das log überhaupt keine tracker requests hat, ist der recall auch 1.0: nichts ist geleakt. Solche Konventionen aufzuschreiben ist Teil des ehrlichen Messens.
Die Wahrheit kommt von irgendwoher
Du kannst nur gegen einen Lösungsschlüssel punkten: die Menge der Seiten, die wirklich Tracker sind. In der Praxis wissen wir es. In echter Forschung bauen Menschen es von Hand auf, Seite für Seite, was langsam und unvollkommen ist. Frage immer, wer entschieden hat, was als Tracker zählt.
Ein häufiges Missverständnis
"Ein höherer Recall ist immer besser." Jede Anfrage von Drittanbietern zu blockieren gibt einen perfekten Recall und es macht Logins, Zahlungen, Karten und Videos kaputt. Die Leute schalten den Blocker dann aus und enden ohne Schutz. Ein etwas niedrigerer Recall mit hoher Präzision schützt in der Praxis oft mehr Menschen.
Probier es aus Viele Blocker-Erweiterungen zeigen eine Anzahl blockierter Anfragen pro Seite an. Wähle eine Seite aus, die sich mit dem Blocker eingeschaltet falsch verhält, dann schalte ihn für diese Seite aus und sieh dir an, was dann funktioniert. Du hast gerade ein False Positive gefunden.
In anderen Sprachen
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}Zusammenfassung
- Präzision: von dem, was du blockiert hast, wie viel wurde wirklich verfolgt (niedrig bedeutet Bruch).
- Zusammenfassung: von all dem Tracking, wie viel du blockiert hast (niedrig bedeutet Lecks).
- Nenne deine Konventionen für Grenzfälle und wisse, wo der Antwortschlüssel herkam.
- Alles zu blockieren maximiert den Recall und ruiniert die Präzision.
Schreibe score(log, trackers). Für jeden Datensatz ist es eine Tracker-Anfrage, wenn site_of(record.url) in trackers und es wurde blockiert, wenn record.outcome == "blocked". Zähle tp, fp, fn und tn und gib ein Dictionary mit diesen vier plus precision (tp / (tp + fp) oder 1.0, wenn nichts blockiert wurde) und recall (tp / (tp + fn) oder 1.0, wenn es keine Tracker-Anfragen gab) zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.