Silabus Pelajaran 51 dari 156 · Buat pemblokir
Buat pemblokir

Presisi dan recall

Kenapa ini penting Setiap blocker membuat dua jenis kesalahan: membiarkan tracker lewat, atau memblokir sesuatu yang dibutuhkan halaman dan merusak situs. Mengatakan "blocker saya berfungsi" tidak berarti apa-apa sampai kamu bisa memberikan angka pada keduanya. Kedua angka ini adalah cara peneliti, dan pembuat browser, membandingkan blocker secara jujur.

jaring ikan

Bayangkan jaring ikan yang hanya dimaksudkan untuk menangkap ikan mackerel. Dua pertanyaan menentukan apakah jaring itu bagus:

  • Dari semua yang ada di net, berapa harga mackerel? (Net yang penuh dengan dolphin adalah net yang buruk, meskipun ia menangkap semua mackerel.)
  • Dari semua ikan mackerel di laut, berapa banyak yang ditangkap jaring?

Pertanyaan pertama adalah precision. Yang kedua adalah recall. Kamu butuh keduanya: jaring tanpa lubang menangkap semua ikan mackerel dan juga semua lumba-lumba.

Keempat kotak

Urutkan setiap permintaan di log ke dalam salah satu dari empat kotak:

DiblokirDiizinkan
Benar-benar pelacakTrue positive (tp): tertangkap, bagusFalse negative (fn): kebocoran privasi
Bukan pelacakFalse positive (fp): kemungkinan errorTrue negative (tn): oke

Precision: tp / (tp + fp): dari yang kamu blokir, bagian yang benar-benar tracker. Presisi rendah berarti halaman rusak.

Recall: tp / (tp + fn): dari semua permintaan tracker, bagian yang kamu blokir. Recall rendah berarti ada kebocoran.

Contoh kerja

A. Sebuah blocker menghentikan 40 permintaan: 36 ke tracker dan 4 ke CDN yang aman. 12 permintaan tracker lainnya berhasil lolos. Presisi adalah 36 / 40 = 0.9. Recall adalah 36 / 48 = 0.75. Jadi: saat ia memblokir, biasanya ia benar, tapi seperempat pelacakan masih terjadi.

Kasus tepi butuh keputusan. Jika blocker tidak memblokir apa pun, presisi akan menjadi 0 / 0. Kita katakan 1.0: tidak ada yang terblokir secara salah. Jika log tidak punya permintaan tracker sama sekali, recall juga 1.0: tidak ada yang bocor. Menulis konvensi seperti ini adalah bagian dari pengukuran yang jujur.

Kebenaran datang dari suatu tempat

Kamu hanya bisa menilai berdasarkan kunci jawaban: kumpulan situs yang benar-benar merupakan tracker. Di dunia latihan kita sudah tahu. Dalam riset nyata, orang membangunnya secara manual, situs demi situs, yang mana lambat dan tidak sempurna. Selalu tanya siapa yang memutuskan apa yang dianggap sebagai tracker.

Kesalahpahaman umum

"Recall yang lebih tinggi selalu lebih baik." Memblokir setiap permintaan pihak ketiga memberikan recall yang sempurna, tapi itu merusak login, pembayaran, peta, dan video. Orang kemudian mematikan pemblokirnya dan akhirnya tidak punya perlindungan sama sekali. Recall yang sedikit lebih rendah dengan presisi tinggi seringkali melindungi lebih banyak orang dalam praktiknya.

Coba sendiri Banyak ekstensi blocker menunjukkan jumlah permintaan yang diblokir per halaman. Pilih situs yang bermasalah saat blocker aktif, lalu matikan untuk situs itu dan lihat apa yang mulai berfungsi. Kamu baru saja menemukan false positive.

Di bahasa lain

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

Ringkasan

  • Presisi: dari apa yang kamu blokir, berapa banyak yang benar-benar dilacak (rendah berarti kerusakan).
  • Ingat: dari semua pelacakan, berapa banyak yang kamu blokir (rendah berarti ada kebocoran).
  • Sebutkan konvensi edge-case kamu, dan tahu dari mana kunci jawaban berasal.
  • Memblokir semuanya memaksimalkan recall dan merusak precision.
Giliranku

Tulis score(log, trackers). Untuk setiap record, itu adalah tracker request jika site_of(record.url) in trackers dan diblokir jika record.outcome == "blocked". Hitung tp, fp, fn dan tn, lalu kembalikan dict dengan keempatnya ditambah precision (tp / (tp + fp), atau 1.0 saat tidak ada yang diblokir) dan recall (tp / (tp + fn), atau 1.0 saat tidak ada tracker request).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.