سرفصل‌ها درس 145 از 156 · وب را مثل یک پژوهشگر اندازه بگیرید
وب را مثل یک پژوهشگر اندازه بگیرید

پژوهش‌های حریم خصوصی چطور کار می‌کنند

چرا مهم است بیشتر آنچه دربارهٔ ردیابی وب می‌دانیم، مانند اینکه چند سایت ردیاب دارند یا کدام شرکت‌ها به بیشترین آدم‌ها می‌رسند، از پژوهش‌هایی می‌آید که هزاران سایت را خودکار بارگذاری می‌کنند و آنچه رخ می‌دهد را ثبت می‌کنند. دانستن طرز کار آن پژوهش‌ها به شما امکان می‌دهد دربارهٔ یک عدد سرتیتر قضاوت کنید، و در درس‌های بعد پژوهش خودتان را اجرا کنید.

یک سرشماری پرندگان را در نظر بگیرید. داوطلبان همان مسیرها را در همان زمان سال می‌پیمایند و آنچه می‌بینند را می‌شمارند. شمارش فقط به خوبی روش است: فقط در پارک‌های آفتابی راه بروید و جغدها را از دست می‌دهید. پژوهش‌های وب هم همین‌طورند. عددی مانند «80% سایت‌ها ردیاب دارند» تا وقتی ندانید کدام سایت‌ها، از کجا، و چطور بازدید شدند هیچ معنایی ندارد.

خزنده (crawler): برنامه‌ای که خودکار از صفحه‌های وب، یکی پس از دیگری، بازدید می‌کند و آنچه پیدا می‌کند را ثبت می‌کند.

پژوهش سرشماری (census study): اندازه‌گیری‌ای که می‌کوشد از هر سایت در یک مجموعهٔ بزرگ و تعریف‌شده (برای مثال یک میلیون سایت پرطرفدار) بازدید کند نه از چند سایت، تا بتواند بگوید چیزی چقدر رایج است.

ابزارگذاری (instrumentation): ثبت اضافه‌ای که به یک مرورگر افزوده می‌شود تا یک پژوهش بتواند هر درخواست، کوکی و فراخوانی اسکریپتی را که یک صفحه انجام می‌دهد ببیند، نه فقط آنچه روی صفحه ظاهر می‌شود.

یک پژوهش مدرن چطور کار می‌کند

  1. سایت‌ها را انتخاب کنید. معمولاً یک رتبه‌بندی عمومی از سایت‌های پرطرفدار، گاهی یک نمونهٔ تصادفی، گاهی یک دسته (خبر، سلامت).
  2. یک مرورگر واقعی را برانید. دانلودهای ساده بیشتر ردیاب‌ها را از دست می‌دهند، چون ردیاب‌ها با اسکریپت‌ها بارگذاری می‌شوند. پژوهش‌ها یک مرورگر واقعی را می‌رانند که کد صفحه را اجرا می‌کند.
  3. همه‌چیز را ثبت کنید. درخواست‌ها و پاسخ‌ها، کوکی‌های تنظیم‌شده، اینکه هر اسکریپت از کدام قابلیت‌های مرورگر استفاده کرد (برای مثال خواندن canvas، یک سرنخ انگشت‌نگاری)، و تغییرمسیرها.
  4. برچسب بزنید و بشمارید. اشخاص ثالث را با فهرست‌های ردیاب تطبیق دهید، سپس بشمارید هر کدام چند وقت یک بار ظاهر می‌شود.

یک نمونهٔ شناخته‌شده OpenWPM است، یک ابزار اندازه‌گیری متن‌باز، که در پژوهشی در 2016 به کار رفت که یک میلیون سایت پرطرفدار را خزید و اسکریپت‌های انگشت‌نگاری و ردیابی را در مقیاسی پیدا کرد که پیش‌تر کسی نشان نداده بود. بسیاری از پژوهش‌های بعدی از همین الگو پیروی می‌کنند.

چرا روش پاسخ را تغییر می‌دهد

  • فقط صفحهٔ اصلی، یا عمیق‌تر؟ صفحه‌های درونی (مقاله‌ها، پرداخت‌ها) اغلب ردیاب‌های متفاوتی بارگذاری می‌کنند.
  • بی‌حالت یا باحالت؟ یک خزش بی‌حالت (stateless) هر سایت را با یک مرورگر تازه شروع می‌کند؛ یک خزش باحالت (stateful) کوکی‌ها را میان سایت‌ها نگه می‌دارد، مثل یک آدم، و در نتیجه می‌تواند ردیابی میان‌سایتی را ببیند.
  • بنرهای رضایت. خزنده‌ای که هرگز کلیک نمی‌کند آنچه پیش از رضایت رخ می‌دهد را اندازه می‌گیرد؛ خزنده‌ای که روی «accept» کلیک می‌کند چیز دیگری را اندازه می‌گیرد. بگویید کدام کار را کردید.
  • خزنده کجا نشسته. سایت‌ها در کشورهای مختلف و به دستگاه‌های مختلف چیزهای متفاوتی نشان می‌دهند.
  • تشخیص ربات. برخی سایت‌ها با خزنده‌ها متفاوت از آدم‌ها رفتار می‌کنند، پس یک خزش ممکن است کمتر از واقع بشمارد.
  • زمان. وب هر هفته تغییر می‌کند. یک پژوهش یک عکس فوری با تاریخ است.

یک تصور نادرست رایج: «یک خزش بزرگ‌تر همیشه پژوهش بهتری است.» اندازه خطای تصادفی را کم می‌کند اما سوگیری را نه. یک میلیون صفحهٔ اصلی که از یک مرکز داده بدون هیچ کلیکی بازدید شده‌اند می‌توانند دربارهٔ تجربهٔ آدم‌های واقعی دقیقاً نادرست باشند.

در این ماژول یک وب شبیه‌سازی‌شده با 1,000 سایت ساختگی را می‌خزید. در جنبه‌هایی که برای یادگیری مهم‌اند مثل وب واقعی رفتار می‌کند، و با هیچ چیز واقعی‌ای تماس گرفته نمی‌شود.

امتحان کنید ابزارهای توسعه‌دهندهٔ مرورگرتان را باز کنید (F12، یا Cmd+Option+I در Mac)، به زبانهٔ Network بروید، و یک سایت خبری را بارگذاری کنید. دامنه‌های متفاوت فهرست را بشمارید. همین الان خزش یک سایت را با دست انجام دادید. سپس با تیک‌زدن جعبهٔ «Disable cache» در زبانهٔ Network دوباره بارگذاری کنید و ببینید آیا فهرست تغییر می‌کند.

خلاصه

  • پژوهش‌های حریم خصوصی سایت‌های بسیاری را با یک مرورگر واقعی ابزارگذاری‌شده می‌خزند و آنچه ثبت می‌کنند را می‌شمارند.
  • پژوهش‌های سرشماری می‌کوشند کل یک مجموعهٔ تعریف‌شده، مانند یک میلیون سایت برتر، را پوشش دهند.
  • انتخاب‌هایی مانند فقط صفحهٔ اصلی، کلیک‌های رضایت، مکان و تاریخ نتیجه‌ها را تغییر می‌دهند، پس باید گزارش شوند.
  • بزرگ‌تر خودبه‌خود بهتر نیست: اندازه خطای تصادفی را کم می‌کند، نه سوگیری را.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.