Kurrikulum Leson 51 van 156 · Bou 'n bloker
Bou 'n bloker

Presisie en herroeping

Hoekom dit saak maak Elke blokkeerder maak twee soorte foute: dit laat spoorwissers deur, of dit blokkeer iets wat 'n bladsy nodig het en breek die webwerf. Om te sê "my blokkeerder werk" beteken niks totdat jy 'n getal op albei kan sit. Hierdie twee getalle is hoe navorsers, en bladsemakers, blokkeerders eerlik vergelyk.

visnet

Stel jou 'n visnet voor wat bedoel is om net makrel te vang. Twee vrae besluit of dit goed is:

  • Van alles in die net, hoeveel kos die makreel? (’n Net vol dolfyne is ’n slegte net, selfs al het dit al die makreel gevang.)
  • Van al die makreel in die see, hoeveel het die net gevang?

Die eerste vraag is precision. Die tweede is recall. Jy het albei nodig: 'n net sonder gate vang elke makreel en elke dolfyn ook.

Die vier bokse

Sorteer elke versoek in die log in een van vier bokse:

GeblokkeerToegelaat
Regtig 'n trackerWare positief (tp): gevang, goedValsnegatiewe (fn): 'n privaatlikheidslek
Nie 'n tracker nieVals positief (fp): moontlike breekWare nagatiewe (tn): reg

Presisie: tp / (tp + fp): van wat jy geblokkeer het, die deel wat werklik spoorwissela was. Lae presisie beteken gebreekte bladsye.

Onthou,: tp / (tp + fn): van al die tracker versoeke, die deel wat jy geblok het. Lae recall beteken lekke.

A voorbeeld. 'n Blocker stop 40 requests: 36 na trackers en 4 na die onskadelike CDN. Nog 12 tracker requests het deurgekom. Precision is 36 / 40 = 0.9. Recall is 36 / 48 = 0.75. So: wanneer dit blokkeer, is dit gewoonlik reg, maar 'n kwart van die tracking gebeur steeds.

Edge cases het 'n besluit nodig. As die blocker niks geblok het nie, sou presisie 0 / 0 wees. Ons sê 1.0: niks is verkeerd geblok nie. As die log geen tracker requests het nie, is recall ook 1.0: niks het uitgelek nie. Om sulke konvensies neer te skryf is deel van eerlike meting.

Die waarheid kom van iewers af

Jy kan net teen 'n antwoordsleutel tel: die stel van webwerwe wat werklik trackers is. In die oefenwêreld weet ons dit. In regte navorsing bou mense dit by hand, een webwerf na die ander, wat stadig en onvolmaak is. Vra altyd wie besluit wat as 'n tracker tel.

A algemene wanbeleefde

"Hoër recall is altyd beter." Om elke derde party versoek te blokkeer gee perfekte recall, maar dit breek aanmeldings, betalings, kaarte en video's. Mense skakel dan die bloker af en eindig met geen beskerming nie. 'n Effens laer recall met hoë presisie beskerm dikwels meer mense in die praktyk.

Probeer dit Baie blocker-uitbreidings wys 'n telling van geblokkeerde versoeke per bladsy. Kies 'n webwerf wat foute maak met die blocker aan, skakel dit dan af vir daardie webwerf en sien wat begin werk. Jy het nou net 'n false positive gevind.

In ander tale

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

Opsomming

  • Presisie: van wat jy geblokkeer het, hoeveel het werklik getrek (laag beteken breuk).
  • Herinnering: van alle opsporing, hoeveel het jy geblokkeer (laag beteken lekke).
  • Noem jou uitsonderingskonvensies, en weet waar die antwoordsleutel vandaan kom.
  • Om alles te blokkeer maksimeer recall en vernietig presisie.
Jou beurt

Skryf score(log, trackers). Vir elke rekord is dit 'n tracker versoek as site_of(record.url) in trackers en was dit geblokkeer as record.outcome == "blocked". Tel tp, fp, fn en tn, en gee 'n dict terug met daardie vier plus precision (tp / (tp + fp), of 1.0 as niks geblokkeer was) en recall (tp / (tp + fn), of 1.0 as daar geen tracker versoeke was).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.