课程大纲 第 232 课,共 246 课 · 第 22 模块:评判各种说法
第 22 模块:评判各种说法

一个种子只是一则轶事

为什么重要 用不同的随机种子把同一个模型训练两次,会得到不同的结果。两个模型之间一个比这种离散程度还小的差异不是一个结果,而单独一次训练没法告诉你这种离散程度有多大。

一个说法:“在 8,000 个词元时,宽度 1024 胜过宽度 512”,每个只有一次训练作为支持(种子 0:2.793 对比 2.799)。课程为每一个记录了 3 个种子。

对于各有几个种子的“A 胜过 B”,一条简单的规则是:取均值之差,以及它的标准误(如果你重新运行这些种子,这个差异会移动多少),即 sqrt(var(A) / nA + var(B) / nB),使用样本方差(ddof=1)。当差异超过 2 个标准误时,就说它得到了证明。judge.standard_error(a, b) 会计算它。

先预测:有三个种子时,在 8,000 个词元处宽度 1024 仍然胜过 512 吗?

本课中的词语和符号
种子
固定一次训练中随机选择的数字;换一个种子会得到另一个结果
标准误
如果重新运行这些种子,一个测量出的差异会移动多少
轮到你了

把 my_guess 设为 "yes" 或 "no"。对于 8,000 和 1,500,000 个词元,填写 diff[tokens](宽度 512 的平均损失减去宽度 1024 的平均损失:正数意味着 1024 更好)和 two_se[tokens]。把 verdict[tokens] 设为 "shown" 或 "not shown"。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。