第 22 模块:评判各种说法
关卡:评审一个说法(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 批判性地阅读结果,是一项你会在每一篇论文、每一张模型卡和每一张基准测试表上用到的技能。规则很简单;每一次都应用它们,并且在没人告诉你哪一条要紧的情况下应用它们,才是技能所在。
关卡规则:AI 导师已关闭。编写 review(claim)。一个说法称“模型 A 胜过模型 B”,并附带每个模型每个种子的损失,以及测试集中在训练数据里找得到的比例。按顺序:
- 如果测试集中有超过 10% 在训练数据里,就返回 "leaked":它上面的任何分数都不可信。
- 如果任意一个模型的种子少于 2 个,就返回 "not shown":离散程度是未知的。
- 令 diff = mean(B) - mean(A)(当 A 更好时为正数),se = sqrt(var(A) / nA + var(B) / nB),使用样本方差(
ddof=1)。如果 diff > 2 se 就返回 "shown",如果 diff < -2 se 就返回 "contradicted",否则返回 "not shown"。
检查会在六个新的说法上运行你的函数,每次检查都不同,包括边界情况:一个种子、恰好 10% 的重叠、完全一致的种子。
本课中的词语和符号
- 污染(泄漏)
- 也出现在训练数据中的测试项
- 种子
- 固定一次训练中随机选择的数字;换一个种子会得到另一个结果
轮到你了
填写 review。在 {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} 上试一试(150 万个词元处被记录的宽度 1024 和 512)。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。