पाठ्यक्रम 156 में से पाठ 51 · एक blocker बनाएँ
एक blocker बनाएँ

Precision और recall

यह क्यों मायने रखता है हर blocker दो तरह की ग़लती करता है: वह trackers को गुज़रने देता है, या वह कुछ ऐसा रोकता है जिसकी एक पन्ने को ज़रूरत है और साइट तोड़ता है। "मेरा blocker काम करता है" कहने का कोई मतलब नहीं जब तक आप दोनों पर एक संख्या न रख सकें। ये दो संख्याएँ वह तरीका हैं जिससे शोधकर्ता, और ब्राउज़र निर्माता, blockers की ईमानदारी से तुलना करते हैं।

एक मछली का जाल

सिर्फ़ mackerel पकड़ने के लिए बने एक मछली के जाल की तस्वीर बनाएँ। दो सवाल तय करते हैं कि यह कुछ अच्छा है या नहीं:

  • जाल में सब कुछ में से, कितना mackerel है? (dolphins से भरा जाल एक बुरा जाल है, भले ही उसने सारी mackerel पकड़ीं।)
  • समुद्र की सारी mackerel में से, जाल ने कितनी पकड़ीं?

पहला सवाल precision है। दूसरा recall है। आपको दोनों चाहिए: बिना छेद वाला जाल हर mackerel और हर dolphin भी पकड़ता है।

चार boxes

log की हर request को चार boxes में से एक में छाँटें:

रोकीअनुमत
सचमुच एक trackerTrue positive (tp): पकड़ा, अच्छाFalse negative (fn): एक निजता रिसाव
tracker नहींFalse positive (fp): संभावित टूट-फूटTrue negative (tn): ठीक

Precision: tp / (tp + fp): आपने जो रोका, उसमें से वह हिस्सा जो सचमुच trackers थे। कम precision का मतलब टूटे पन्ने।

Recall: tp / (tp + fn): सारी tracker requests में से, वह हिस्सा जो आपने रोका। कम recall का मतलब रिसाव।

एक हल किया उदाहरण। एक blocker 40 requests रोकता है: trackers को 36 और हानिरहित CDN को 4। और 12 tracker requests गुज़र गईं। Precision है 36 / 40 = 0.9। Recall है 36 / 48 = 0.75। तो: जब यह रोकता है, आमतौर पर सही होता है, पर एक चौथाई tracking फिर भी होती है।

किनारे के मामलों को एक फ़ैसला चाहिए। अगर blocker ने कुछ नहीं रोका, तो precision 0 / 0 होता। हम 1.0 कहते हैं: कुछ भी ग़लत नहीं रोका गया। अगर log में बिल्कुल कोई tracker requests नहीं, तो recall भी 1.0 है: कुछ नहीं रिसा। ऐसी परंपराएँ लिखना ईमानदारी से मापने का हिस्सा है।

सच कहीं से आता है

आप सिर्फ़ एक answer key के मुक़ाबले अंक दे सकते हैं: उन साइटों का set जो सचमुच trackers हैं। अभ्यास दुनिया में हम इसे जानते हैं। असली शोध में लोग इसे हाथ से बनाते हैं, साइट दर साइट, जो धीमा और अधूरा है। हमेशा पूछें कि किसने तय किया कि क्या tracker गिना जाता है।

एक आम ग़लतफ़हमी

"ऊँचा recall हमेशा बेहतर है।" हर third-party request रोकना परफ़ेक्ट recall देता है, और यह logins, payments, नक्शे और videos तोड़ता है। लोग फिर blocker बंद कर देते हैं और बिना सुरक्षा के रह जाते हैं। ऊँचे precision के साथ थोड़ा कम recall व्यवहार में अक्सर ज़्यादा लोगों की रक्षा करता है।

आज़माएँ कई blocker extensions हर पन्ने पर रोकी requests की गिनती दिखाते हैं। एक ऐसी साइट चुनें जो blocker चालू होने पर ग़लत बर्ताव करे, फिर उस साइट के लिए उसे बंद करें और देखें कि क्या काम करने लगता है। आपने अभी एक false positive ढूँढा।

दूसरी भाषाओं में

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

सार

  • Precision: आपने जो रोका उसमें से कितना सचमुच tracking था (कम का मतलब टूट-फूट)।
  • Recall: सारी tracking में से आपने कितनी रोकी (कम का मतलब रिसाव)।
  • अपनी किनारे के मामलों की परंपराएँ बताएँ, और जानें कि answer key कहाँ से आई।
  • सब कुछ रोकना recall को अधिकतम और precision को बर्बाद करता है।
आपकी बारी

score(log, trackers) लिखें। हर record के लिए, यह एक tracker request है अगर site_of(record.url) in trackers और यह रोकी गई अगर record.outcome == "blocked"। tp, fp, fn और tn गिनें, और उन चारों के साथ precision (tp / (tp + fp), या कुछ न रोका गया हो तो 1.0) और recall (tp / (tp + fn), या कोई tracker requests न हों तो 1.0) वाला एक dict लौटाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।