课程大纲 第 109 课,共 246 课 · 第 9 模块:它真的更好吗?
第 9 模块:它真的更好吗?

公平地比较两个模型

为什么重要 回到第 1 课。这才是做决定的正确方式。

两个模型回答的是同样的 100 个项目。所以不要给每个分数分别加上误差线;而是给差异加上一条误差线,把项目成对地重新抽样。每一次重新抽样有放回地挑选 100 个项目,并计算在这些相同的项目上 B 的准确率减去 A 的准确率。如果这个差异的 95% 区间包含 0,数据就没法把这两个模型区分开。

配对比较:在同一个测试集上逐项比较两个模型,这能抵消每个项目的难度。

诚实地说,第 1 课的 100 张图像是怎么挑出来的:识别器是模拟出来的,而课程选了一次 100 张图像的抽取,在这次抽取中 A 碰巧领先 B 4 分。在 2,000 次随机抽取的 100 张图像中,A 领先 4 分或更多的情况只占 8%;B 在其中一半里胜出,还有 14% 是平局。这是一种真实存在的运气,被挑出来是为了说明一个观点:一个只有 100 个项目的测试集可能指向错误的方向。

本课中的词语和符号
自助法
带重复地对你的测试集重新抽样,看看一个分数会波动多少
95% 区间
重新抽样得到的分数中间的 95%
配对比较
在同样的项目上逐项比较两个模型
轮到你了

编写 paired_diff_ci(a, b, n=2000, seed=0)(B 减去 A 的区间,像自助法那一课那样对项目索引重新抽样)和 verdict(a, b),后者返回 "A"、"B" 或 "no clear difference"。在第 1 课的模型上运行它。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。