课程大纲 第 66 课,共 246 课 · 第 5 模块:优化
第 5 模块:优化

有噪声的步子(SGD 与小批量)

为什么重要 真实的数据集有数百万个样本。每一步都在全部样本上计算精确的梯度实在太慢了,所以我们从一个小批次中估计它。

一个小批量梯度使用,比如说,32 个随机样本,而不是全部 512 个。它大致指向下坡,带有一些噪声。你用一个精确步骤的代价换来 16 个廉价的、有噪声的步骤,而在实践中这轻松胜出。

噪声会做什么

损失曲线变得参差不齐,而不是平滑的,而且在接近底部时它永远不会完全稳定下来:它会在最小值附近抖动。在训练后期降低学习率能平息这种抖动。在大型网络中,一些噪声甚至是有帮助的,能把行走从糟糕的地方晃出来。

SGD:随机梯度下降,用小批量对梯度的估计来做梯度下降。

回顾 许多廉价而有噪声的步子,胜过少数精确的步子。

本课中的词语和符号
SGD
使用小的随机批次的梯度下降
小批量
用于一个步骤的一小片随机数据
轮到你了

为线性回归(损失:均方误差)编写 sgd(X, y, lr, batch, epochs, seed),在每个轮次打乱数据,返回 (w, losses),其中 losses 是每个轮次之后在全部数据上的损失。在批次 32、lr 0.05、10 个轮次时,它最后必须低于 0.02。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。