ردیابها را بدون فهرست تشخیص دهید
چرا مهم است یک فهرست فقط ردیابهایی را میشناسد که کسی پیشتر پیدا کرده و نوشته است. هر هفته ردیابهای تازهای ظاهر میشوند، و برخی عمداً نامشان را عوض میکنند. شناختن یک ردیاب از رفتارش آنهایی را میگیرد که هنوز هیچ فهرستی اسمشان را نشنیده.
شناختن یک دزد مغازه بدون عکس
نگهبان مغازهای با فهرستی از دزدان شناختهشده مفید است. اما یک نگهبان خوب رفتار را هم میپاید: کسی که به همهٔ مغازههای خیابان سر میزند و یادداشت میکند چه کسی وارد میشود. برای دیدن کاری که میکند به نامش نیازی ندارید.
ردیابها هم رفتارهای لودهنده دارند. در این درس دنبال سه سرنخ در گزارش درخواستهای یک مرورگر میگردید:
- همهجا با هم. همان سایت شخص ثالث روی دو یا چند سایت مختلف ظاهر میشود. همین است که به آن اجازه میدهد بازدیدهای شما را به هم پیوند دهد.
- یک شناسهٔ یکتا در نشانی. یک مقدار پرسوجو مانند
cid=df0641532d7fکه تصادفی به نظر میرسد: این یک برچسب نام برای شماست. - یک پیکسل. یک «تصویر» 100 بایتی یا کمتر، کوچکتر از آنکه چیزی نشان دهد. تنها کارش این است که مرورگرتان را وادار به فرستادن یک درخواست کند.
قاعدهٔ سرانگشتی (heuristic): قاعدهای که معمولاً اما نه همیشه درست است، مانند «ابرهای تیره یعنی باران». قواعد سرانگشتی میتوانند چیزهای تازه را بگیرند، و میتوانند فریب هم بخورند.
قاعدهٔ ما: یک سایت ردیاب است اگر سرنخ 1 درست باشد و دستکم یکی از سرنخهای 2 یا 3 درست باشد. لازمدانستن سرنخ 1 cdn.example بیخطر را ایمن نگه میدارد: روی همهٔ فروشگاههاست، اما هیچ شناسهای نمیفرستد و نشانش یک تصویر واقعی 2 KB است.
تصادفی چقدر تصادفی است؟ آنتروپی، بهاختصار
برای تشخیص یک شناسه از یک کلمهٔ معمولی، اندازه میگیریم نویسههایش چقدر درهماند. aaaa اصلاً درهم نیست. abcd از چهار نویسهٔ متفاوت به یک اندازه استفاده میکند.
آنتروپی شانون: عددی برای اینکه چیزی چقدر پیشبینیناپذیر است، بر حسب بیت. برای یک متن: برای هر نویسهٔ متفاوت، سهم p آن از متن را بگیرید، و -p * log2(p) را جمع بزنید. تنوع بیشتر بیتهای بیشتری میدهد.
char_entropy("aaaa") # 0.0 every character is the same
char_entropy("abab") # 1.0 two characters, half each
char_entropy("abcd") # 2.0 four characters, a quarter eachmath.log2(p) یعنی «چند بار باید 1 را نصف کنم تا به p برسم»، که به شکل یک عدد منفی داده میشود، و به همین دلیل علامت منفی هست. collections.Counter(text) هر نویسه را برایتان میشمارد. در ماژول بعدی دوباره به همین فرمول میرسید، که روی جمعیتهای کاملی از مرورگرها به کار رفته است.
آنتروپی بهتنهایی کافی نیست: trail-shoes هم کاملاً درهم است. پس looks_like_id همچنین دستکم 8 نویسه میخواهد، فقط حروف، رقمها، - یا _، و دستکم یک حرف و یک رقم. کلمهها در آزمون رقم رد میشوند؛ تاریخها و URLها در آزمون حرف یا نویسه.
خواندن گزارش
هر record در browser.log آنچه لازم دارید را دارد:
site_of(record.url)وrecord.top_site: اگر متفاوت باشند، شخص ثالث است.record.request.params: پرسوجو به شکل یک dict، از قبل رمزگشاییشده.record.response: اگر مسدود شدهNone؛ وگرنه.header("Content-Type")و.sizeبر حسب بایت.
محدودیتهای صادقانه
ردیابی که فقط روی یک سایت در گزارش شماست بیتوجه میگذرد، حتی اگر روی هزاران سایتی باشد که هنوز بازدید نکردهاید. ردیابی که شناسهها را در یک کوکی پنهان میکند و یک تصویر با اندازهٔ معمولی میفرستد هم از چنگ در میرود. و یک اسکریپت تحلیل شخص اول که شناسهها را به سایت خودش میفرستد اصلاً شخص ثالث نیست. به همین دلیل مسدودکنندههای واقعی فهرستها و قواعد سرانگشتی را با هم به کار میبرند.
امتحان کنید DevTools را باز کنید (F12، یا Cmd+Option+I در Mac)، به زبانهٔ Network بروید، با Img فیلتر کنید، و یک سایت خبری را بارگذاری کنید. بر اساس Size مرتب کنید. ستون Size سرآیندهای پاسخ را هم میشمارد، پس پیکسلی که تصویرش فقط چند ده بایت است همچنان چند صد بایت نشان داده میشود. هر تصویری که اینقدر کوچک باشد، از سایتی دیگر، به احتمال زیاد یک پیکسل است. روی یکی کلیک کنید و در رشتهٔ پرسوجویش دنبال یک مقدار تصادفی طولانی بگردید.
در زبانهای دیگر
JavaScript:
function charEntropy(text) {
if (!text) return 0;
const counts = {};
for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
let bits = 0;
for (const n of Object.values(counts)) {
const p = n / text.length;
bits -= p * Math.log2(p);
}
return bits;
}
const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
&& /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;C#:
static double CharEntropy(string text) =>
text.Length == 0 ? 0 :
-text.GroupBy(c => c)
.Select(g => (double)g.Count() / text.Length)
.Sum(p => p * Math.Log2(p));خلاصه
- رفتار ردیابها را لو میدهد: حضور در بسیاری از سایتها، فرستادن شناسههای تصادفی، گرفتن پیکسلها.
- آنتروپی شانون اندازه میگیرد یک متن چقدر درهم است؛ شناسههای تصادفی نمرهٔ بالایی میگیرند.
- لازمدانستن «روی 2 سایت یا بیشتر» از کمککنندههای بیخطری مانند یک CDN محافظت میکند.
- قواعد سرانگشتی ردیابهای تازه را میگیرند اما برخی را از دست میدهند؛ مسدودکنندههای واقعی آنها را با فهرستها ترکیب میکنند.
char_entropy(text) (آنتروپی شانون بر حسب بیت در هر نویسه، 0.0 برای متن خالی)، looks_like_id(value) (دستکم 8 نویسه، همه در ID_CHARS، دستکم یک رقم و یک حرف، آنتروپی دستکم 2.0)، is_pixel(record) (پاسخی با Content-Type که با image/ شروع شود و اندازهٔ 100 بایت یا کمتر) و find_trackers(log) را بنویسید، که مجموعهٔ سایتهایی را برمیگرداند که بهعنوان شخص ثالث روی دستکم 2 سایت بالایی متفاوت ظاهر میشوند و یک مقدار پرسوجوی شبیه شناسه فرستادند یا یک پیکسل دریافت کردند. از watched.reference استفاده نکنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.