دقت و بازیابی
چرا مهم است هر مسدودکنندهای دو نوع اشتباه میکند: ردیابها را راه میدهد، یا چیزی را که یک صفحه لازم دارد مسدود میکند و سایت را میشکند. گفتن «مسدودکنندهام کار میکند» تا وقتی نتوانید برای هر دو عددی بگذارید معنایی ندارد. این دو عدد راهی است که پژوهشگران، و سازندگان مرورگر، با آن مسدودکنندهها را صادقانه مقایسه میکنند.
یک تور ماهیگیری
توری را تصور کنید که قرار است فقط ماهی خالمخالی بگیرد. دو پرسش تعیین میکنند آیا به کاری میآید:
- از هر چه در تور است، چقدر خالمخالی است؟ (توری پر از دلفین تور بدی است، حتی اگر همهٔ خالمخالیها را گرفته باشد.)
- از همهٔ خالمخالیهای دریا، تور چندتا را گرفت؟
پرسش اول دقت (precision) است. دومی بازیابی (recall). به هر دو نیاز دارید: توری بیسوراخ همهٔ خالمخالیها و همهٔ دلفینها را هم میگیرد.
چهار خانه
هر درخواست در گزارش را در یکی از چهار خانه بگذارید:
| مسدودشده | مجاز | |
|---|---|---|
| واقعاً یک ردیاب | مثبت درست (tp): گرفته شد، خوب | منفی کاذب (fn): یک نشت حریم خصوصی |
| ردیاب نیست | مثبت کاذب (fp): شکستگی احتمالی | منفی درست (tn): مشکلی نیست |
دقت: tp / (tp + fp): از آنچه مسدود کردید، سهمی که واقعاً ردیاب بود. دقت پایین یعنی صفحههای شکسته.
بازیابی: tp / (tp + fn): از همهٔ درخواستهای ردیاب، سهمی که مسدود کردید. بازیابی پایین یعنی نشت.
یک مثال حلشده. یک مسدودکننده 40 درخواست را متوقف میکند: 36 به ردیابها و 4 به CDN بیخطر. 12 درخواست ردیاب دیگر رد شدند. دقت 36 / 40 = 0.9 است. بازیابی 36 / 48 = 0.75 است. پس: وقتی مسدود میکند، معمولاً درست است، اما یکچهارم ردیابی همچنان رخ میدهد.
حالتهای مرزی به تصمیم نیاز دارند. اگر مسدودکننده هیچ چیز مسدود نکرد، دقت 0 / 0 میشد. ما میگوییم 1.0: هیچ چیز به اشتباه مسدود نشد. اگر گزارش اصلاً هیچ درخواست ردیابی نداشته باشد، بازیابی هم 1.0 است: هیچ چیز نشت نکرد. نوشتن چنین قراردادهایی بخشی از اندازهگیری صادقانه است.
حقیقت از جایی میآید
فقط میتوانید در برابر یک کلید پاسخ نمره بدهید: مجموعهٔ سایتهایی که واقعاً ردیاباند. در دنیای تمرینی آن را میدانیم. در پژوهش واقعی، آدمها آن را با دست میسازند، سایت به سایت، که کند و ناقص است. همیشه بپرسید چه کسی تصمیم گرفت چه چیزی ردیاب حساب شود.
یک تصور نادرست رایج
«بازیابی بالاتر همیشه بهتر است.» مسدودکردن هر درخواست شخص ثالث بازیابی کامل میدهد، و ورودها، پرداختها، نقشهها و ویدیوها را میشکند. آنوقت آدمها مسدودکننده را خاموش میکنند و بیهیچ محافظتی میمانند. بازیابی کمی پایینتر با دقت بالا در عمل اغلب از آدمهای بیشتری محافظت میکند.
امتحان کنید بسیاری از افزونههای مسدودکننده تعداد درخواستهای مسدودشده در هر صفحه را نشان میدهند. سایتی را انتخاب کنید که با روشنبودن مسدودکننده بد رفتار میکند، سپس آن را برای همان سایت خاموش کنید و ببینید چه چیزی شروع به کار میکند. همین الان یک مثبت کاذب پیدا کردید.
در زبانهای دیگر
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}خلاصه
- دقت: از آنچه مسدود کردید، چقدر واقعاً ردیابی بود (پایین یعنی شکستگی).
- بازیابی: از همهٔ ردیابی، چقدر را مسدود کردید (پایین یعنی نشت).
- قراردادهای حالت مرزیتان را بیان کنید، و بدانید کلید پاسخ از کجا آمد.
- مسدودکردن همهچیز بازیابی را به حداکثر میرساند و دقت را نابود میکند.
score(log, trackers) را بنویسید. برای هر رکورد، اگر site_of(record.url) in trackers یک درخواست ردیاب است و اگر record.outcome == "blocked" مسدود شده است. tp، fp، fn و tn را بشمارید، و یک dict با آن چهار بهعلاوهٔ precision (tp / (tp + fp)، یا 1.0 وقتی هیچ چیز مسدود نشد) و recall (tp / (tp + fn)، یا 1.0 وقتی هیچ درخواست ردیابی نبود) برگردانید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.