课程大纲 第 233 课,共 246 课 · 第 22 模块:评判各种说法
第 22 模块:评判各种说法

每一个“它是真的吗”的检查背后的同一条规则

为什么重要 这门课至少用四种方式评判过差异:配对区间(第 9 模块)、“高 0.1 并且在每个种子上都更高”(第 16 和第 17 模块),以及 2 个标准误(这个模块)。它们都是同一个想法,而知道这一点能让你挑对那一个,并知道什么时候某一个太宽松了。

每一条规则都是在把一个差异和它的噪声做比较。有两个选择会改变答案:

  • 配对与否。当两个模型在同样的项目上打分时(第 9 模块的测试图像),先逐项相减:每一项有多难会被抵消掉,噪声缩小了,小的真实差异就会显现出来。对于在同样项目上的两个分类器,最干净的计数就是它们意见不一致的那些项(McNemar 检验)。不同训练的种子不是配对的:把两组作为整体来比较。
  • 截断值有多严格。2 个标准误假设你知道噪声。每边只有 3 个种子时,你是从各自 3 个数字中估计它的,而这个估计很容易太小。Student t 分布考虑了这一点:截断值变成 stats.t.ppf(0.975, df) 个标准误,其中 df(自由度)来自 Welch 的公式,df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)),其中 va = var(a) / na。每边 3 个种子时,df 是 2 到 4,截断值是 2.8 到 4.3,而不是 2。

先预测:在被记录的网格上,更严格的截断值是否曾推翻过 2 个标准误规则给出的“shown”?

本课中的词语和符号
种子
固定一次训练中随机选择的数字;换一个种子会得到另一个结果
标准误
如果重新运行这些种子,一个测量出的差异会移动多少
轮到你了

把 my_guess 设为 "yes" 或 "no"。编写 welch(a, b),对两个由种子损失组成的列表返回 (diff, se, df)(diff = mean(a) - mean(b):当 b,也就是更大的模型更好时为正数)。然后,对于 CASES 中的每一个案例,用一个字典填写 result[case]:'ratio'(diff / se)、'cutoff'(t 截断值)、'two_se' 和 't'(按每条规则给出 "shown" 或 "not shown")。把 disagree 设为两条规则结论不同的那些案例的列表。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。