课程大纲 第 105 课,共 246 课 · 第 9 模块:它真的更好吗?
第 9 模块:它真的更好吗?

种子与离散程度

为什么重要 用不同的种子把同一个模型训练两次,你会得到不同的分数。在你知道这种波动有多大之前,你没法判断任何改动是否有帮助。

在这里,种子决定了三件事:哪些图像落在训练集和测试集中、起始权重,以及数据的顺序。它们本都不应该有影响,但它们全都有一点影响。所以总是要训练几个种子,并报告均值和离散程度(标准差),而永远不要只报告一次训练。

比较两种各自在 n 个种子上取平均的设置时,一条粗略的规则是:两个平均值之差的波动大约是离散程度乘以 sqrt(2 / n)(每个平均值的波动是离散程度 / sqrt(n),而两个独立的波动以平方相加)。一个小于这个值大约两倍的差异,是你无法信任的。在 5 个种子、离散程度为 0.02 时,那就是 2 乘以 0.02 乘以 sqrt(0.4) = 0.025。

轮到你了

编写 seed_report(n_seeds),返回在种子 0 到 n_seeds - 1 上 train_and_score 的 (mean, std)。直接使用 np.std(它除以 n;除以 n - 1,也就是 ddof=1,同样被接受)。然后把 wobble 设为 5 个种子上的离散程度。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。