Precision और recall
यह क्यों मायने रखता है हर blocker दो तरह की ग़लती करता है: वह trackers को गुज़रने देता है, या वह कुछ ऐसा रोकता है जिसकी एक पन्ने को ज़रूरत है और साइट तोड़ता है। "मेरा blocker काम करता है" कहने का कोई मतलब नहीं जब तक आप दोनों पर एक संख्या न रख सकें। ये दो संख्याएँ वह तरीका हैं जिससे शोधकर्ता, और ब्राउज़र निर्माता, blockers की ईमानदारी से तुलना करते हैं।
एक मछली का जाल
सिर्फ़ mackerel पकड़ने के लिए बने एक मछली के जाल की तस्वीर बनाएँ। दो सवाल तय करते हैं कि यह कुछ अच्छा है या नहीं:
- जाल में सब कुछ में से, कितना mackerel है? (dolphins से भरा जाल एक बुरा जाल है, भले ही उसने सारी mackerel पकड़ीं।)
- समुद्र की सारी mackerel में से, जाल ने कितनी पकड़ीं?
पहला सवाल precision है। दूसरा recall है। आपको दोनों चाहिए: बिना छेद वाला जाल हर mackerel और हर dolphin भी पकड़ता है।
चार boxes
log की हर request को चार boxes में से एक में छाँटें:
| रोकी | अनुमत | |
|---|---|---|
| सचमुच एक tracker | True positive (tp): पकड़ा, अच्छा | False negative (fn): एक निजता रिसाव |
| tracker नहीं | False positive (fp): संभावित टूट-फूट | True negative (tn): ठीक |
Precision: tp / (tp + fp): आपने जो रोका, उसमें से वह हिस्सा जो सचमुच trackers थे। कम precision का मतलब टूटे पन्ने।
Recall: tp / (tp + fn): सारी tracker requests में से, वह हिस्सा जो आपने रोका। कम recall का मतलब रिसाव।
एक हल किया उदाहरण। एक blocker 40 requests रोकता है: trackers को 36 और हानिरहित CDN को 4। और 12 tracker requests गुज़र गईं। Precision है 36 / 40 = 0.9। Recall है 36 / 48 = 0.75। तो: जब यह रोकता है, आमतौर पर सही होता है, पर एक चौथाई tracking फिर भी होती है।
किनारे के मामलों को एक फ़ैसला चाहिए। अगर blocker ने कुछ नहीं रोका, तो precision 0 / 0 होता। हम 1.0 कहते हैं: कुछ भी ग़लत नहीं रोका गया। अगर log में बिल्कुल कोई tracker requests नहीं, तो recall भी 1.0 है: कुछ नहीं रिसा। ऐसी परंपराएँ लिखना ईमानदारी से मापने का हिस्सा है।
सच कहीं से आता है
आप सिर्फ़ एक answer key के मुक़ाबले अंक दे सकते हैं: उन साइटों का set जो सचमुच trackers हैं। अभ्यास दुनिया में हम इसे जानते हैं। असली शोध में लोग इसे हाथ से बनाते हैं, साइट दर साइट, जो धीमा और अधूरा है। हमेशा पूछें कि किसने तय किया कि क्या tracker गिना जाता है।
एक आम ग़लतफ़हमी
"ऊँचा recall हमेशा बेहतर है।" हर third-party request रोकना परफ़ेक्ट recall देता है, और यह logins, payments, नक्शे और videos तोड़ता है। लोग फिर blocker बंद कर देते हैं और बिना सुरक्षा के रह जाते हैं। ऊँचे precision के साथ थोड़ा कम recall व्यवहार में अक्सर ज़्यादा लोगों की रक्षा करता है।
आज़माएँ कई blocker extensions हर पन्ने पर रोकी requests की गिनती दिखाते हैं। एक ऐसी साइट चुनें जो blocker चालू होने पर ग़लत बर्ताव करे, फिर उस साइट के लिए उसे बंद करें और देखें कि क्या काम करने लगता है। आपने अभी एक false positive ढूँढा।
दूसरी भाषाओं में
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}सार
- Precision: आपने जो रोका उसमें से कितना सचमुच tracking था (कम का मतलब टूट-फूट)।
- Recall: सारी tracking में से आपने कितनी रोकी (कम का मतलब रिसाव)।
- अपनी किनारे के मामलों की परंपराएँ बताएँ, और जानें कि answer key कहाँ से आई।
- सब कुछ रोकना recall को अधिकतम और precision को बर्बाद करता है।
score(log, trackers) लिखें। हर record के लिए, यह एक tracker request है अगर site_of(record.url) in trackers और यह रोकी गई अगर record.outcome == "blocked"। tp, fp, fn और tn गिनें, और उन चारों के साथ precision (tp / (tp + fp), या कुछ न रोका गया हो तो 1.0) और recall (tp / (tp + fn), या कोई tracker requests न हों तो 1.0) वाला एक dict लौटाएँ।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।