سرفصل‌ها درس 149 از 156 · وب را مثل یک پژوهشگر اندازه بگیرید
وب را مثل یک پژوهشگر اندازه بگیرید

آمار صادقانه

چرا مهم است یک اندازه‌گیری فقط وقتی مفید است که خوانندگان بدانند چقدر به آن اعتماد کنند. نوشتن اینکه نمونه‌تان چطور انتخاب شد، عدد چقدر نامطمئن است، و چه چیزی را نتوانستید ببینید چیزی است که یک پژوهش را از یک حدس جدا می‌کند. همچنین شما را از فریب‌دادن خودتان محافظت می‌کند.

تصور کنید از آدم‌ها در یک باشگاه ورزشی می‌پرسید چند وقت یک بار ورزش می‌کنند، سپس اعلام می‌کنید «آدم معمولی هفته‌ای پنج بار ورزش می‌کند». حساب ممکن است بی‌نقص باشد. مشکل این است که از چه کسی پرسیدید.

نمونه (sample): بخشی از جهان که واقعاً اندازه گرفتید، مانند 1,000 سایتی که خزیدید.

جامعه (population): کل چیزی که می‌خواهید دربارهٔ آن چیزی بگویید، مانند «وب‌سایت‌هایی که آدم‌ها استفاده می‌کنند».

سوگیری نمونه‌گیری (sampling bias): تفاوتی میان نمونهٔ شما و جامعه که نتیجه را به یک سو می‌راند، نمونه هر قدر هم بزرگ باشد.

خزش‌های وب کجا سوگیری دارند

  • فقط سایت‌های پرطرفدار. رتبه‌بندی‌ها سایت‌های بزرگ را ترجیح می‌دهند. سایت‌های کوچک، که بیشتر وب را تشکیل می‌دهند، ممکن است متفاوت رفتار کنند.
  • منطقه‌ها و زبان‌ها. خزنده‌ای در یک کشور نسخه‌های آن کشور از سایت‌ها را می‌بیند، اغلب به یک زبان.
  • دستگاه‌ها. خزش‌های رومیزی آنچه سایت‌های موبایل و برنامه‌ها انجام می‌دهند را از دست می‌دهند، و بخش زیادی از ردیابی اکنون در برنامه‌ها رخ می‌دهد.
  • صفحه‌های بدون ورود. خزنده‌ها به‌ندرت وارد حساب می‌شوند، پس صفحه‌های حساب، پرداخت‌ها و فیدها اندازه‌گیری‌نشده می‌مانند.
  • تشخیص ربات. برخی سایت‌ها برای مرورگرهای خودکار متفاوت رفتار می‌کنند.
  • برچسب‌ها. شمارش ردیاب شما در واقع «سایت‌هایی است که فهرست مسدودسازی ردیاب می‌نامد». فهرستی که ردیاب‌ها را از دست می‌دهد عدد شما را پایین می‌آورد.

یک سهم چقدر نامطمئن است؟

حتی بدون سوگیری، یک نمونه به‌طور شانسی نوسان دارد. برای سهمی p که روی n سایت اندازه گرفته شده، یک حاشیهٔ خطای تقریبی رایج 95% برابر 1.96 * sqrt(p * (1 - p) / n) است.

import math
p, n = 0.6, 1000          # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%")   # 60 % plus or minus 3.0 %

این حاشیه فقط شانس را پوشش می‌دهد. چیزی دربارهٔ سوگیری نمی‌گوید، که اغلب خطای بزرگ‌تر است، پس همچنان به فهرست بالا نیاز دارید.

نوشتن محدودیت‌ها

یک بخش محدودیت‌های خوب کوتاه، مشخص و صادقانه است. برای هر محدودیت بگویید چیست، احتمالاً نتیجه را به کدام سو می‌راند، و چه چیزی درستش می‌کرد. برای مثال:

  • «فقط از صفحه‌های اصلی بازدید کردیم. صفحه‌های درونی اغلب ردیاب‌های بیشتری بارگذاری می‌کنند، پس شمارش‌های ما احتمالاً پایین است.»
  • «برای برچسب‌ها از یک فهرست مسدودسازی استفاده کردیم. ردیاب‌هایی که از دست می‌دهد شمرده نمی‌شوند.»
  • «خزش در یک روز، از یک مکان، روی رومیزی اجرا شد.»

یک تصور نادرست رایج: «فهرست‌کردن محدودیت‌ها یک پژوهش را ضعیف نشان می‌دهد.» برعکس است. خوانندگان وقتی لبه‌های یک نتیجه را ببینند بیشتر به آن اعتماد می‌کنند، و محدودیت‌ها به پژوهشگر بعدی می‌گویند چه چیزی را اندازه بگیرد.

دو عادت دیگر: تاریخ و روش دقیق را بدهید تا کسی بتواند تکرارش کند، و از تبدیل «آن را روی 60% سایت‌ها دیدیم» به «60% آدم‌ها ردیابی می‌شوند» پرهیز کنید. سایت‌ها آدم نیستند.

امتحان کنید خزش خود از درس 146 را بردارید. حاشیهٔ خطای سهم ردیاب آن را محاسبه کنید، سپس سه محدودیت برایش بنویسید، که هر کدام بگوید عدد را به کدام سو می‌راند.

خلاصه

  • سوگیری نمونه‌گیری از اینکه چه کسی یا چه چیزی را اندازه گرفتید می‌آید، و یک نمونهٔ بزرگ‌تر درمانش نمی‌کند.
  • خزش‌ها سایت‌های کوچک، منطقه‌های دیگر، موبایل و برنامه‌ها، صفحه‌های با ورود، و هر چه برچسب‌ها از دست می‌دهند را از دست می‌دهند.
  • حاشیهٔ خطایی مانند 1.96 * sqrt(p(1 - p)/n) فقط شانس را پوشش می‌دهد.
  • محدودیت‌هایی بنویسید که بگویند چه، کدام سو، و چه چیزی درستش می‌کرد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.