诚实的统计
为什么重要 一次测量只有在读者知道该在多大程度上信任它时才有用。写下你的样本是怎样选出来的、这个数字有多不确定,以及你看不到什么,正是把一项研究和一次猜测区分开来的东西。它也能防止你自欺欺人。
想象你在健身房里问人们多常锻炼,然后宣布“普通人每周锻炼五次”。算术可能完全正确。问题在于你问的是谁。
样本:你实际测量的那部分世界,比如你爬取的 1,000 个网站。
总体:你想要对其作出论断的整体,比如“人们使用的网站”。
抽样偏差:你的样本和总体之间的一种差异,它会把结果往一个方向推,无论样本有多大。
网络爬取在哪里有偏差
- 只有热门网站。排名偏向大网站。小网站,也就是网络的大部分,可能表现得不一样。
- 地区和语言。位于某个国家的爬虫看到的是网站在那个国家的版本,常常只有一种语言。
- 设备。桌面端的爬取会漏掉移动网站和应用所做的事情,而如今很多跟踪都发生在应用里。
- 未登录的页面。爬虫很少登录,所以账号页面、结账页面和信息流都没有被测量。
- 机器人检测。有些网站对自动化浏览器的表现不一样。
- 标签。你的跟踪器计数其实是“拦截列表称为跟踪器的网站”。一份漏掉了跟踪器的列表会压低你的数字。
一个比例有多不确定?
即使没有偏差,样本也会因为偶然而波动。对于在 n 个网站上测得的比例 p,一个常用的粗略 95% 误差范围是 1.96 * sqrt(p * (1 - p) / n)。
import math
p, n = 0.6, 1000 # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%") # 60 % plus or minus 3.0 %这个范围只涵盖偶然性。它完全没有说明偏差,而偏差常常是更大的误差,所以你仍然需要上面那份清单。
写出局限
一个好的局限部分简短、具体而诚实。对每一项局限,都要说明它是什么、它可能把结果往哪个方向推,以及什么能修正它。例如:
- “我们只访问了首页。内页常常会加载更多的跟踪器,所以我们的计数可能偏低。”
- “我们只用了一份拦截列表来打标签。它漏掉的跟踪器没有被计入。”
- “这次爬取在一天之内、从一个地点、在桌面端运行。”
一个常见的误解:“列出局限会让一项研究看起来很弱。”恰恰相反。当读者能看到一个结果的边界时,他们会更信任它,而局限会告诉下一位研究者该去测量什么。
还有两个习惯:给出日期和确切的方法,让别人能够重复它;并且避免把“我们在 60% 的网站上看到了它”变成“60% 的人被跟踪了”。网站不是人。
试一试 拿出你在第 146 课的爬取结果。计算它的跟踪器比例的误差范围,然后为它写出三项局限,每一项都说明它把数字往哪个方向推。
回顾
- 抽样偏差来自你测量的是谁或什么,而更大的样本治不好它。
- 爬取会漏掉小网站、其他地区、移动端和应用、需要登录的页面,以及标签漏掉的一切。
- 像 1.96 * sqrt(p(1 - p)/n) 这样的误差范围只涵盖偶然性。
- 写出说明是什么、往哪个方向推,以及什么能修正它的局限。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。