第 22 模块:评判各种说法
每一个“它是真的吗”的检查背后的同一条规则
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这门课至少用四种方式评判过差异:配对区间(第 9 模块)、“高 0.1 并且在每个种子上都更高”(第 16 和第 17 模块),以及 2 个标准误(这个模块)。它们都是同一个想法,而知道这一点能让你挑对那一个,并知道什么时候某一个太宽松了。
每一条规则都是在把一个差异和它的噪声做比较。有两个选择会改变答案:
- 配对与否。当两个模型在同样的项目上打分时(第 9 模块的测试图像),先逐项相减:每一项有多难会被抵消掉,噪声缩小了,小的真实差异就会显现出来。对于在同样项目上的两个分类器,最干净的计数就是它们意见不一致的那些项(McNemar 检验)。不同训练的种子不是配对的:把两组作为整体来比较。
- 截断值有多严格。2 个标准误假设你知道噪声。每边只有 3 个种子时,你是从各自 3 个数字中估计它的,而这个估计很容易太小。Student t 分布考虑了这一点:截断值变成
stats.t.ppf(0.975, df)个标准误,其中 df(自由度)来自 Welch 的公式,df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)),其中va = var(a) / na。每边 3 个种子时,df 是 2 到 4,截断值是 2.8 到 4.3,而不是 2。
先预测:在被记录的网格上,更严格的截断值是否曾推翻过 2 个标准误规则给出的“shown”?
本课中的词语和符号
- 种子
- 固定一次训练中随机选择的数字;换一个种子会得到另一个结果
- 标准误
- 如果重新运行这些种子,一个测量出的差异会移动多少
轮到你了
把 my_guess 设为 "yes" 或 "no"。编写 welch(a, b),对两个由种子损失组成的列表返回 (diff, se, df)(diff = mean(a) - mean(b):当 b,也就是更大的模型更好时为正数)。然后,对于 CASES 中的每一个案例,用一个字典填写 result[case]:'ratio'(diff / se)、'cutoff'(t 截断值)、'two_se' 和 't'(按每条规则给出 "shown" 或 "not shown")。把 disagree 设为两条规则结论不同的那些案例的列表。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。