اشخاص ثالث یک سایت را ممیزی کنید
چرا مهم است چیزی را که نشمردهاید نمیتوانید درست کنید. مهندسان حریم خصوصی پیش از تغییر هر چیزی در یک سایت، بارگذاری یک صفحه را ضبط میکنند و همهٔ سرورهای بیرونیای را که با آنها حرف زده فهرست میکنند. در این تمرین شما خودتان این ممیزی را در چند خط پایتون مینویسید و این ایده را در پروژهٔ مرحلهٔ 3 دوباره به کار میبرید.
دفتر مهمانان دم در کافه را در نظر بگیرید. در پایان روز آن را میخوانید و میپرسید: چه کسی آمد، چند بار، و آیا کسی چیزی جا گذاشت؟ گزارش درخواستها دفتر مهمانان وبسایت است.
فایل HAR: کوتاهشدهٔ HTTP Archive. DevTools میتواند همهٔ درخواستهایی را که یک صفحه انجام داده در یک فایل ذخیره کند (زبانهٔ Network، راستکلیک، «Save all as HAR»). هر مدخل نشانی، نوع درخواست، سرآیندها، وضعیت و کوکیهای گذاشتهشده را فهرست میکند. مرورگر تمرینی ما همین را بهصورت فهرستی از dictها با browser.har() به شما میدهد.
یک مدخل از دنیای تمرین این شکلی است (کوتاهشده):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}فایلهای HAR واقعی top_site ندارند؛ شما آن را از نشانی صفحه میخوانید. گزارش ما آن را اضافه میکند تا کد کوتاه بماند.
سه پرسشی که یک ممیزی پاسخ میدهد
- آیا این درخواست به یک شخص ثالث است؟ سایت نشانی را با
top_siteمقایسه کنید. از سایت استفاده کنید، نه از میزبان کامل:img.shopb.exampleمتعلق بهshopb.exampleاست، پس شخص اول است. - هر میزبان بیرونی چقدر دریافت میکند؟ درخواستهایش را بشمارید و ببینید آیا کوکی گذاشته است.
- چه کسی افراد را در سایتهای مختلف میبیند؟ میزبانی که زیر دو یا چند مقدار متفاوت
top_siteظاهر شود میتواند بازدیدها را پیوند دهد. اینها اولین مواردیاند که باید بررسی شوند.
دو کمکی از دنیای تمرین کار نشانی را برایتان انجام میدهند: host_of(url) میزبان را میدهد ("img.shopb.example")، و site_of(url) سایت قابل ثبت را میدهد ("shopb.example").
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.exampleبرای ساختن شمارش برای هر میزبان، متد dict یعنی setdefault(key, default) به کار میآید: مقدار key را برمیگرداند و اگر کلید تازه باشد، اول default را ذخیره میکند.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}یک تصور نادرست رایج: «میزبانی که کوکی نمیگذارد بیخطر است». میزبانی که در همهٔ سایتها ظاهر میشود هر بار نشانی IP و مرورگر را میبیند و میتواند به جای کوکی، شناسهٔ خودش را در نشانی بفرستد. درخواستها و سایتها را بشمارید، نه فقط کوکیها را.
در زبانهای دیگر
همان ممیزی روی یک فایل HAR که از DevTools خروجی گرفته شده. فایلهای HAR واقعی مدخلها را زیر log.entries نگه میدارند.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());درست به دست آوردن سایت به فهرست پسوندهای عمومی (Public Suffix List) نیاز دارد (تا a.co.uk بخشی از co.uk حساب نشود). به جای جدا کردن با نقطهها، از کتابخانهای مثل tldts در جاوااسکریپت یا golang.org/x/net/publicsuffix در Go استفاده کنید.
خلاصه
- گزارش درخواستها (HAR) دفتر مهمانان یک سایت است: همهٔ سرورهای بیرونیای که بارگذاری یک صفحه با آنها تماس گرفته.
- شخص ثالث یعنی سایتی متفاوت از نوار نشانی، نه فقط نام میزبانی متفاوت.
- میزبانهایی که زیر چند سایت متفاوت دیده میشوند همانهاییاند که میتوانند بازدیدها را پیوند دهند.
کد آغازین یک گزارش تمرینی را برایتان ضبط میکند: سام 12 صفحهٔ فروشگاه را مرور میکند در حالی که AdCo یک کوکی شناسه میگذارد. سه تابع بنویسید:
is_third_party(entry): وقتیsite_of(entry["url"])باentry["top_site"]متفاوت استTrueبرگردانید، وگرنهFalse.audit(har): فهرست را پیمایش کنید و برای هر مدخل شخص ثالث یک dict با کلیدhost_of(entry["url"])بسازید. هر مقدار یک dict است با"requests"(چند مدخل به آن میزبان رفته)،"sites"(فهرست مرتبشدهٔ مقدارهای متفاوتtop_siteکه زیرشان دیده شده) و"sets_cookies"(اگر هر یک از مدخلهایش فهرستset_cookiesغیرخالی داشته باشدTrue). dict را برگردانید. مدخلهای شخص اول کنار گذاشته میشوند.watchers(report): با گرفتن dict حاصل ازaudit، فهرست میزبانهایی را که زیر دو یا چند سایت دیده شدهاند، به ترتیب الفبا برگردانید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.