第 5 模块:优化
批次大小和学习率一起考虑
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 批次大小和学习率不是两个独立的旋钮。改变其中一个,另一个的最佳值就会移动。
一个更大的批次给出一个噪声更小的梯度,所以它能安全地迈出更大的一步。许多人起步时用的一条粗略规则是:如果你把批次大小加倍,你大致可以把学习率也加倍,直到某个点,步子会变得不稳定。
结果也会随着种子而波动,所以要在几个种子上比较各种设置,而永远不要只看一次训练。
还有一个陷阱:这里的标签带有离散程度为 0.1 的噪声,所以没有任何设置能把损失压到大约 0.1 的平方 = 0.01 以下。在这个下限附近,好几对设置打平了(比如 0.0113 对比 0.0114)。一个领先幅度还不到种子间波动的“胜者”算不上胜者,所以这次运行还会列出和最好的那个相差在 5% 以内的每一对。
回顾 一起调整它们,并在种子上取平均。
本课中的词语和符号
- SGD
- 使用小的随机批次的梯度下降
轮到你了
先预测:在 my_pick 中写下你认为在 2 个轮次之后损失最低的网格中的那一对 (batch, lr)。然后编写 sweep(X, y, batches, lrs, seeds),返回一个从 (batch, lr) 映射到各种子上平均最终损失的字典(使用给出的 sgd),以及返回最好的那一对的 best(results)。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。