سرفصل‌ها درس 71 از 156 · اشخاص ثالث در سایت خودتان
اشخاص ثالث در سایت خودتان

اشخاص ثالث یک سایت را ممیزی کنید

چرا مهم است چیزی را که نشمرده‌اید نمی‌توانید درست کنید. مهندسان حریم خصوصی پیش از تغییر هر چیزی در یک سایت، بارگذاری یک صفحه را ضبط می‌کنند و همهٔ سرورهای بیرونی‌ای را که با آن‌ها حرف زده فهرست می‌کنند. در این تمرین شما خودتان این ممیزی را در چند خط پایتون می‌نویسید و این ایده را در پروژهٔ مرحلهٔ 3 دوباره به کار می‌برید.

دفتر مهمانان دم در کافه را در نظر بگیرید. در پایان روز آن را می‌خوانید و می‌پرسید: چه کسی آمد، چند بار، و آیا کسی چیزی جا گذاشت؟ گزارش درخواست‌ها دفتر مهمانان وب‌سایت است.

فایل HAR: کوتاه‌شدهٔ HTTP Archive. DevTools می‌تواند همهٔ درخواست‌هایی را که یک صفحه انجام داده در یک فایل ذخیره کند (زبانهٔ Network، راست‌کلیک، «Save all as HAR»). هر مدخل نشانی، نوع درخواست، سرآیندها، وضعیت و کوکی‌های گذاشته‌شده را فهرست می‌کند. مرورگر تمرینی ما همین را به‌صورت فهرستی از dictها با browser.har() به شما می‌دهد.

یک مدخل از دنیای تمرین این شکلی است (کوتاه‌شده):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

فایل‌های HAR واقعی top_site ندارند؛ شما آن را از نشانی صفحه می‌خوانید. گزارش ما آن را اضافه می‌کند تا کد کوتاه بماند.

سه پرسشی که یک ممیزی پاسخ می‌دهد

  1. آیا این درخواست به یک شخص ثالث است؟ سایت نشانی را با top_site مقایسه کنید. از سایت استفاده کنید، نه از میزبان کامل: img.shopb.example متعلق به shopb.example است، پس شخص اول است.
  2. هر میزبان بیرونی چقدر دریافت می‌کند؟ درخواست‌هایش را بشمارید و ببینید آیا کوکی گذاشته است.
  3. چه کسی افراد را در سایت‌های مختلف می‌بیند؟ میزبانی که زیر دو یا چند مقدار متفاوت top_site ظاهر شود می‌تواند بازدیدها را پیوند دهد. این‌ها اولین مواردی‌اند که باید بررسی شوند.

دو کمکی از دنیای تمرین کار نشانی را برایتان انجام می‌دهند: host_of(url) میزبان را می‌دهد ("img.shopb.example")، و site_of(url) سایت قابل ثبت را می‌دهد ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

برای ساختن شمارش برای هر میزبان، متد dict یعنی setdefault(key, default) به کار می‌آید: مقدار key را برمی‌گرداند و اگر کلید تازه باشد، اول default را ذخیره می‌کند.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

یک تصور نادرست رایج: «میزبانی که کوکی نمی‌گذارد بی‌خطر است». میزبانی که در همهٔ سایت‌ها ظاهر می‌شود هر بار نشانی IP و مرورگر را می‌بیند و می‌تواند به جای کوکی، شناسهٔ خودش را در نشانی بفرستد. درخواست‌ها و سایت‌ها را بشمارید، نه فقط کوکی‌ها را.

در زبان‌های دیگر

همان ممیزی روی یک فایل HAR که از DevTools خروجی گرفته شده. فایل‌های HAR واقعی مدخل‌ها را زیر log.entries نگه می‌دارند.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

درست به دست آوردن سایت به فهرست پسوندهای عمومی (Public Suffix List) نیاز دارد (تا a.co.uk بخشی از co.uk حساب نشود). به جای جدا کردن با نقطه‌ها، از کتابخانه‌ای مثل tldts در جاوااسکریپت یا golang.org/x/net/publicsuffix در Go استفاده کنید.

خلاصه

  • گزارش درخواست‌ها (HAR) دفتر مهمانان یک سایت است: همهٔ سرورهای بیرونی‌ای که بارگذاری یک صفحه با آن‌ها تماس گرفته.
  • شخص ثالث یعنی سایتی متفاوت از نوار نشانی، نه فقط نام میزبانی متفاوت.
  • میزبان‌هایی که زیر چند سایت متفاوت دیده می‌شوند همان‌هایی‌اند که می‌توانند بازدیدها را پیوند دهند.
نوبت شما

کد آغازین یک گزارش تمرینی را برایتان ضبط می‌کند: سام 12 صفحهٔ فروشگاه را مرور می‌کند در حالی که AdCo یک کوکی شناسه می‌گذارد. سه تابع بنویسید:

  1. is_third_party(entry): وقتی site_of(entry["url"]) با entry["top_site"] متفاوت است True برگردانید، وگرنه False.
  2. audit(har): فهرست را پیمایش کنید و برای هر مدخل شخص ثالث یک dict با کلید host_of(entry["url"]) بسازید. هر مقدار یک dict است با "requests" (چند مدخل به آن میزبان رفته)، "sites" (فهرست مرتب‌شدهٔ مقدارهای متفاوت top_site که زیرشان دیده شده) و "sets_cookies" (اگر هر یک از مدخل‌هایش فهرست set_cookies غیرخالی داشته باشد True). dict را برگردانید. مدخل‌های شخص اول کنار گذاشته می‌شوند.
  3. watchers(report): با گرفتن dict حاصل از audit، فهرست میزبان‌هایی را که زیر دو یا چند سایت دیده شده‌اند، به ترتیب الفبا برگردانید.
در پایان هر تماشاگر را با شمار درخواست‌هایش چاپ کنید. آزمون‌ها از گزارش‌های دیگری استفاده می‌کنند، پس پاسخ را نمی‌توان با دست تایپ کرد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.