سرفصل‌ها درس 146 از 156 · وب را مثل یک پژوهشگر اندازه بگیرید
وب را مثل یک پژوهشگر اندازه بگیرید

وب شبیه‌سازی‌شده را بخزید

چرا مهم است شمردن راهی است که یک نگرانی مبهم («ردیاب‌ها همه‌جا هستند») را به واقعیتی تبدیل می‌کنید که می‌توانید بررسی و تکرارش کنید. در این آزمایشگاه یک خزش به سبک واقعی را روی 1,000 سایت شبیه‌سازی‌شده اجرا می‌کنید و جدولی را می‌سازید که هر پژوهش ردیابی با آن شروع می‌شود: کدام اشخاص ثالث ظاهر می‌شوند، و روی چند سایت.

یک خزش مثل انبارگردانی در یک مغازه است: هر راهرو را بپیمایید، هر کالا را یادداشت کنید، سپس جمع بزنید. اینجا هر راهرو یک سایت است، و هر کالا درخواستی که صفحه فرستاد.

وب شبیه‌سازی‌شده

SimWeb(seed) از watched.leg7b_web هزار سایت خیالی می‌سازد، که بر اساس محبوبیت رتبه‌بندی شده‌اند. web.sites نامشان را فهرست می‌کند و web.visit(site) آنچه یک خزندهٔ ابزارگذاری‌شده ثبت کرد را برمی‌گرداند:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

شخص ثالث: سایتی غیر از سایتی که بازدید می‌کنید که صفحه با آن تماس می‌گیرد. اگر از calmriver.example بازدید کنید و آن t.adco.example را بارگذاری کند، شخص ثالث adco.example است.

دامنهٔ قابل ثبت (سایت): بخشی از نام یک میزبان که یک مالک کنترلش می‌کند، مانند adco.example برای t.adco.example. site_of(host) آن را برایتان پیدا می‌کند؛ خودتان در مرحلهٔ 6 نوشتیدش.

شیوع (prevalence): اینکه چیزی چقدر گسترده است: اینجا، تعداد (یا سهم) سایت‌های خزیده‌شده‌ای که یک شخص ثالث روی آن‌ها ظاهر می‌شود.

شمردن با یک dict، مرتب‌کردن با یک کلید

یک مجموعه (set) هر مقدار را یک بار نگه می‌دارد، که برای «این صفحه با کدام اشخاص ثالث تماس گرفت» عالی است. برای شمردن میان صفحه‌ها، از یک dict استفاده کنید و برای هر صفحه‌ای که یک شخص ثالث روی آن ظاهر می‌شود یکی اضافه کنید. برای مرتب‌کردن جدول، آیتم‌هایش را با یک key مرتب کنید: تابعی که می‌گوید بر اساس چه مرتب شود.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

توجه کنید که یک شخص ثالث برای هر سایت یک بار شمرده می‌شود، هر چند درخواست هم که آنجا بفرستد. ردیابی که ده پیکسل روی یک سایت شلیک می‌کند همچنان روی یک سایت است.

TRACKER_LIST فهرست مسدودسازی‌ای از سایت‌های ردیاب شناخته‌شده است، به شیوه‌ای که فهرست‌های فیلتر عمومی برچسبشان می‌زنند. سهم سایت‌هایی که دست‌کم یک ردیاب فهرست‌شده بارگذاری می‌کنند عدد سرتیتر بسیاری از پژوهش‌هاست.

یک تصور نادرست رایج: «هر شخص ثالثی یک ردیاب است.» فونت‌ها، شبکه‌های تحویل محتوا و ابزارک‌های پرداخت هم اشخاص ثالث‌اند. جدول شما نشان می‌دهد برخی از رایج‌ترین اشخاص ثالث بی‌خطرند، و به همین دلیل پژوهش‌ها با دقت برچسب می‌زنند.

در زبان‌های دیگر

شمردن شیوع در JavaScript (Node) و Go:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

خلاصه

  • یک خزش از سایت‌های بسیاری بازدید می‌کند و هر درخواست را ثبت می‌کند؛ شمردن آن را به واقعیت تبدیل می‌کند.
  • از site_of برای گروه‌بندی میزبان‌ها در سایت‌ها استفاده کنید، و هر شخص ثالث را برای هر سایت یک بار بشمارید.
  • با یک کلید مرتب کنید تا بر اساس شیوع رتبه‌بندی کنید، و تساوی‌ها را بر اساس نام باز کنید.
  • هر شخص ثالثی ردیاب نیست؛ با یک فهرست برچسب بزنید و بگویید از کدام فهرست استفاده کردید.
نوبت شما

پنج تابع بنویسید:

  1. third_parties(load): مجموعهٔ سایت‌هایی (site_of(request["host"])) که صفحه با آن‌ها تماس گرفت، بدون load["site"].
  2. prevalence(loads): یک dict از سایت شخص ثالث به تعداد بارگذاری‌هایی که در آن‌ها ظاهر می‌شود.
  3. top(table, n): n جفت (site, count) بزرگ‌تر، بزرگ‌ترین اول، تساوی‌ها الفبایی.
  4. cookie_setters(loads): مجموعهٔ سایت‌های شخص ثالث با دست‌کم یک درخواست که sets_cookie آن درست است.
  5. tracker_share(loads, tracker_list): کسری از بارگذاری‌ها که با دست‌کم یک سایت در tracker_list تماس می‌گیرند.
سپس loads را با web.visit(site) برای هر سایت در web.sites، به ترتیب، پر کنید. آزمون‌ها وب‌های شبیه‌سازی‌شدهٔ دیگری را هم می‌خزند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.