Hassasiyet ve geri çağırma
Neden önemli Her engelleyici iki tür hata yapar: takipçilerin geçmesine izin verir veya bir sayfanın ihtiyaç duyduğu bir şeyi engeller ve siteyi bozar. "Engelleyicim çalışıyor" demek, her ikisi için de bir sayı verene kadar hiçbir şey ifade etmez. Araştırmacılar ve tarayıcı üreticileri bu iki sayıyı kullanarak engelleyicileri dürüstçe karşılaştırır.
A balık ağı
Sadece palamut yakalamak için tasarlanmış bir balık ağı hayal et. Bu ağın iyi olup olmadığını iki soru belirler:
- İnternetteki her şeyin içinde, uskumru ne kadar? (Yunuslarla dolu bir ağ kötü bir ağdır, tüm uskumruları yakalamış olsa bile.)
- Denizdeki tüm uskumruların kaçı ağa takıldı?
İlk soru precision. İkincisi recall. İkisine de ihtiyacın var: deliksiz bir ağ hem her bir uskumruyu hem de her bir yunusu yakalar.
Dört kutu
Logdaki her isteği dört kutudan birine ayır:
| Engellendi | İzin verildi | |
|---|---|---|
| Gerçekten bir takipçi | Doğru pozitif (tp): yakalandı, iyi | Yanlış negatif (fn): bir gizlilik sızıntısı |
| Bir takipçi değil | Yanlış pozitif (fp): olası bozulma | Doğru negatif (tn): tamam |
Precision: tp / (tp + fp): engellediklerinin içinden gerçekten tracker olanların payı. Düşük hassasiyet bozuk sayfeler demektir.
Hatırla: tp / (tp + fn): tüm takipçi istekleri arasında engellediğin pay. Düşük hatırlama sızıntı demektir.
A çalışmış örnek. Bir engelleyici 40 isteği durduruyor: 36 tanesi takipçilere ve 4 tanesi zararsız CDN'e. Başka 12 takipçi isteği geçebildi. Hassasiyet 36 / 40 = 0.9. Duyarlılık 36 / 48 = 0.75. Yani: engellediğinde genellikle haklı çıkıyor ama takip işlemlerinin dörtte biri hala gerçekleşiyor.
Uç uç durumlar bir karar gerektirir. Eğer blocker hiçbir şeyi engellemediyse, precision 0 / 0 olurdu. Biz 1.0 diyoruz: yanlışlıkla hiçbir şey engellenmedi. Eğer logda hiç tracker isteği yoksa, recall de 1.0 olur: hiçbir şey sızmadı. Bu tür kuralları yazmak dürüst ölçümün bir parçasıdır.
Gerçek bir yerden geliyor
Sadece bir cevap anahtarına göre puan alabilirsin: bunlar gerçekten tracker olan sitelerin kümesidir. Pratik dünyada bunu biliyoruz. Gerçek araştırmada insanlar bunu el ile, site site inşa ederler, bu da yavaş ve kusurludur. Neyi tracker olarak kabul etmeye kimin karar verdiğini her zaman sor.
Yaygın bir yanılgı
"Daha yüksek recall her zaman daha iyidir." Her üçüncü taraf isteğini engellemek mükemmel recall sağlar ama girişleri, ödemeleri, haritaları ve videoları bozar. İnsanlar sonra engelleyiciyi kapatır ve korumasız kalır. Yüksek precision ile biraz daha düşük recall genellikle uygulamada daha fazla kişiyi korur.
Kendin dene Birçok engelleyici eklenti sayfa başına engellenen istek sayısını gösterir. Engelleyici açıkken düzgün çalışmayan bir site seç, sonra o site için kapat ve nelerin çalışmaya başladığını gör. Bir yanlış pozitif buldun.
Diğer dillerde
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Git:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}Özet
- Hassasiyet: engellediklerinin ne kadarı gerçekten takip ediliyordu (düşük değer bozulma anlamına gelir).
- Hatırlatma: tüm takiplerin ne kadarını engelledin (düşük değer sızıntı demektir).
- Uç uç durum kurallarını belirt ve cevap anahtarının nereden geldiğini bil.
- Her şeyi engellemek recall değerini maksimize eder ve precision değerini bozar.
score(log, trackers) yaz. Her kayıt için, site_of(record.url) in trackers ise bir tracker isteğidir ve record.outcome == "blocked" ise engellenmiştir. tp, fp, fn ve tn değerlerini say ve bu dördü ile precision (tp / (tp + fp) veya hiçbir şey engellenmediğinde 1.0) ve recall (tp / (tp + fn) veya hiç tracker isteği olmadığında 1.0) değerlerini içeren bir dict döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.