课程大纲 第 67 课,共 246 课 · 第 5 模块:优化
第 5 模块:优化

批次大小和学习率一起考虑

为什么重要 批次大小和学习率不是两个独立的旋钮。改变其中一个,另一个的最佳值就会移动。

一个更大的批次给出一个噪声更小的梯度,所以它能安全地迈出更大的一步。许多人起步时用的一条粗略规则是:如果你把批次大小加倍,你大致可以把学习率也加倍,直到某个点,步子会变得不稳定。

结果也会随着种子而波动,所以要在几个种子上比较各种设置,而永远不要只看一次训练。

还有一个陷阱:这里的标签带有离散程度为 0.1 的噪声,所以没有任何设置能把损失压到大约 0.1 的平方 = 0.01 以下。在这个下限附近,好几对设置打平了(比如 0.0113 对比 0.0114)。一个领先幅度还不到种子间波动的“胜者”算不上胜者,所以这次运行还会列出和最好的那个相差在 5% 以内的每一对。

回顾 一起调整它们,并在种子上取平均。

本课中的词语和符号
SGD
使用小的随机批次的梯度下降
轮到你了

先预测:在 my_pick 中写下你认为在 2 个轮次之后损失最低的网格中的那一对 (batch, lr)。然后编写 sweep(X, y, batches, lrs, seeds),返回一个从 (batch, lr) 映射到各种子上平均最终损失的字典(使用给出的 sgd),以及返回最好的那一对的 best(results)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。