课程大纲 第 106 课,共 246 课 · 第 9 模块:它真的更好吗?
第 9 模块:它真的更好吗?

通过重新抽样得到误差线(自助法)

为什么重要 “在 100 个项目上 95% 的准确率”在接下来的 100 个项目上很可能是 90% 或 99%。一条误差线说明这个数字能信任到什么程度。

看一看

播放动画。你只有一个测试集,但你可以问:如果测试集的结果稍有不同,分数会变化多少?从你的 100 个项目中有放回地随机抽取 100 个(有些项目两次,有些一次都没有),组成一个新的假想测试集,然后给它打分。这样做 2,000 次。这些分数中间的 95% 就是你的误差线。

自助法:通过有放回地对你自己的数据重新抽样来估计不确定性。95% 区间:重新抽样得到的分数的第 2.5 到第 97.5 百分位数。

本课中的词语和符号
自助法
带重复地对你的测试集重新抽样,看看一个分数会波动多少
95% 区间
重新抽样得到的分数中间的 95%
轮到你了

编写 bootstrap_ci(correct, n=2000, seed=0):用 np.random.default_rng(seed).integers(0, len(correct), (n, len(correct))) 一次性抽取所有的重新抽样,给每一个打分,然后返回第 2.5 和第 97.5 百分位数。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。