Precisie en recall
Waarom dit ertoe doet Elke blocker maakt twee soorten fouten: het laat trackers door, of het blokkeert iets wat een pagina nodig heeft en breekt de site. Zeggen dat "mijn blocker werkt" betekent niets totdat je beide een getal kunt geven. Deze twee getallen zijn hoe onderzoekers en browsermakers blockers eerlijk vergelijken.
A visnet
Stel je een visnet voor dat alleen bedoeld is om makrelen te vangen. Twee vragen bepalen of het goed is:
- Van alles in het net, hoeveel is makreel? (Een net vol dolfijnen is een slecht net, zelfs als het alle makrelen ving.)
- Van alle makrelen in de zee, hoeveel ving het net?
De eerste vraag is precisie. De tweede is recall. Je hebt beide nodig: een net zonder gaten vangt elke makreel en ook elke dolfijn.
De vier boxen
Sorteer elke aanvraag in de log in een van de vier vakken:
| Blocked | Toegestaan | |
|---|---|---|
| Echt een tracker | True positive (tp): gevangen, goed | False negative (fn): een privacylek |
| Geen tracker | False positive (fp): mogelijke breuk | True negative (tn): goed |
Precisie: tp / (tp + fp): van wat je hebt geblokkeerd, het deel dat echt trackers waren. Lage precisie betekent kapotte pagina's.
Recall: tp / (tp + fn): van alle tracker verzoeken, het deel dat je hebt geblokkeerd. Lage recall betekent lekken.
A voorbeeld. Een blocker stopt 40 requests: 36 naar trackers en 4 naar het onschadelijke CDN. Nog eens 12 tracker requests kwamen door. Precisie is 36 / 40 = 0.9. Recall is 36 / 48 = 0.75. Dus: wanneer het blokkeert, heeft het meestal gelijk, maar een kwart van het tracking gebeurt nog steeds.
Edge cases hebben een beslissing nodig. Als de blocker niets blokkeerde, zou de precisie 0 / 0 zijn. We zeggen 1.0: niets werd foutief geblokkeerd. Als de log helemaal geen tracker requests bevat, is de recall ook 1.0: niets lekte. Het opschrijven van dergelijke conventies is onderdeel van eerlijk meten.
De waarheid komt ergens vandaan
Je kunt alleen scoren tegen een antwoordsleutel: de set sites die echt trackers zijn. In de praktijk weten we het. In echt onderzoek bouwen mensen het met de hand, site voor site, wat traag en onvolmaakt is. Vraag altijd wie besloot wat als een tracker telt.
A veelvoorkomende misvatting
"Een hogere recall is altijd beter." Elke derde partij aanvraag blokkeren geeft een perfecte recall, maar het breekt logins, betalingen, kaarten en video's. Mensen zetten de blocker dan uit en eindigen met geen bescherming. Een iets lagere recall met hoge precisie beschermt in de praktijk vaak meer mensen.
Probeer het Veel blocker extensies tonen een aantal geblokkeerde verzoeken per pagina. Kies een site die niet goed werkt met de blocker aan, zet hem dan uit voor die site en kijk wat weer werkt. Je hebt zojuist een false positive gevonden.
In andere talen
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}Samenvatting
- Precisie: van wat je blokkeerde, hoeveel werd echt gevolgd (laag betekent breuk).
- Samenvatting: van alle tracking, hoeveel je hebt geblokkeerd (laag betekent lekken).
- Geef je conventies voor edge-cases op en weet waar de antwoordsleutel vandaan komt.
- Alles blokkeren maximaliseert recall en verpest precisie.
Schrijf score(log, trackers). Voor elk record is het een tracker request als site_of(record.url) in trackers en was het geblokkeerd als record.outcome == "blocked". Tel tp, fp, fn en tn, en retourneer een dictionary met die vier plus precision (tp / (tp + fp), of 1.0 wanneer niets geblokkeerd was) en recall (tp / (tp + fn), of 1.0 wanneer er geen tracker requests waren).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.