课程大纲 第 149 课,共 156 课 · 像研究者一样测量网络
像研究者一样测量网络

诚实的统计

为什么重要 一次测量只有在读者知道该在多大程度上信任它时才有用。写下你的样本是怎样选出来的、这个数字有多不确定,以及你看不到什么,正是把一项研究和一次猜测区分开来的东西。它也能防止你自欺欺人。

想象你在健身房里问人们多常锻炼,然后宣布“普通人每周锻炼五次”。算术可能完全正确。问题在于你问的是谁。

样本:你实际测量的那部分世界,比如你爬取的 1,000 个网站。

总体:你想要对其作出论断的整体,比如“人们使用的网站”。

抽样偏差:你的样本和总体之间的一种差异,它会把结果往一个方向推,无论样本有多大。

网络爬取在哪里有偏差

  • 只有热门网站。排名偏向大网站。小网站,也就是网络的大部分,可能表现得不一样。
  • 地区和语言。位于某个国家的爬虫看到的是网站在那个国家的版本,常常只有一种语言。
  • 设备。桌面端的爬取会漏掉移动网站和应用所做的事情,而如今很多跟踪都发生在应用里。
  • 未登录的页面。爬虫很少登录,所以账号页面、结账页面和信息流都没有被测量。
  • 机器人检测。有些网站对自动化浏览器的表现不一样。
  • 标签。你的跟踪器计数其实是“拦截列表称为跟踪器的网站”。一份漏掉了跟踪器的列表会压低你的数字。

一个比例有多不确定?

即使没有偏差,样本也会因为偶然而波动。对于在 n 个网站上测得的比例 p,一个常用的粗略 95% 误差范围是 1.96 * sqrt(p * (1 - p) / n)。

import math
p, n = 0.6, 1000          # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%")   # 60 % plus or minus 3.0 %

这个范围只涵盖偶然性。它完全没有说明偏差,而偏差常常是更大的误差,所以你仍然需要上面那份清单。

写出局限

一个好的局限部分简短、具体而诚实。对每一项局限,都要说明它是什么、它可能把结果往哪个方向推,以及什么能修正它。例如:

  • “我们只访问了首页。内页常常会加载更多的跟踪器,所以我们的计数可能偏低。”
  • “我们只用了一份拦截列表来打标签。它漏掉的跟踪器没有被计入。”
  • “这次爬取在一天之内、从一个地点、在桌面端运行。”

一个常见的误解:“列出局限会让一项研究看起来很弱。”恰恰相反。当读者能看到一个结果的边界时,他们会更信任它,而局限会告诉下一位研究者该去测量什么。

还有两个习惯:给出日期和确切的方法,让别人能够重复它;并且避免把“我们在 60% 的网站上看到了它”变成“60% 的人被跟踪了”。网站不是人。

试一试 拿出你在第 146 课的爬取结果。计算它的跟踪器比例的误差范围,然后为它写出三项局限,每一项都说明它把数字往哪个方向推。

回顾

  • 抽样偏差来自你测量的是谁或什么,而更大的样本治不好它。
  • 爬取会漏掉小网站、其他地区、移动端和应用、需要登录的页面,以及标签漏掉的一切。
  • 像 1.96 * sqrt(p(1 - p)/n) 这样的误差范围只涵盖偶然性。
  • 写出说明是什么、往哪个方向推,以及什么能修正它的局限。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。