一个种子只是一则轶事
为什么重要 用不同的随机种子把同一个模型训练两次,会得到不同的结果。两个模型之间一个比这种离散程度还小的差异不是一个结果,而单独一次训练没法告诉你这种离散程度有多大。
一个说法:“在 8,000 个词元时,宽度 1024 胜过宽度 512”,每个只有一次训练作为支持(种子 0:2.793 对比 2.799)。课程为每一个记录了 3 个种子。
对于各有几个种子的“A 胜过 B”,一条简单的规则是:取均值之差,以及它的标准误(如果你重新运行这些种子,这个差异会移动多少),即 sqrt(var(A) / nA + var(B) / nB),使用样本方差(ddof=1)。当差异超过 2 个标准误时,就说它得到了证明。judge.standard_error(a, b) 会计算它。
先预测:有三个种子时,在 8,000 个词元处宽度 1024 仍然胜过 512 吗?
本课中的词语和符号
- 种子
- 固定一次训练中随机选择的数字;换一个种子会得到另一个结果
- 标准误
- 如果重新运行这些种子,一个测量出的差异会移动多少
把 my_guess 设为 "yes" 或 "no"。对于 8,000 和 1,500,000 个词元,填写 diff[tokens](宽度 512 的平均损失减去宽度 1024 的平均损失:正数意味着 1024 更好)和 two_se[tokens]。把 verdict[tokens] 设为 "shown" 或 "not shown"。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。