第 5 模块:优化
有噪声的步子(SGD 与小批量)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 真实的数据集有数百万个样本。每一步都在全部样本上计算精确的梯度实在太慢了,所以我们从一个小批次中估计它。
一个小批量梯度使用,比如说,32 个随机样本,而不是全部 512 个。它大致指向下坡,带有一些噪声。你用一个精确步骤的代价换来 16 个廉价的、有噪声的步骤,而在实践中这轻松胜出。
噪声会做什么
损失曲线变得参差不齐,而不是平滑的,而且在接近底部时它永远不会完全稳定下来:它会在最小值附近抖动。在训练后期降低学习率能平息这种抖动。在大型网络中,一些噪声甚至是有帮助的,能把行走从糟糕的地方晃出来。
SGD:随机梯度下降,用小批量对梯度的估计来做梯度下降。
回顾 许多廉价而有噪声的步子,胜过少数精确的步子。
本课中的词语和符号
- SGD
- 使用小的随机批次的梯度下降
- 小批量
- 用于一个步骤的一小片随机数据
轮到你了
为线性回归(损失:均方误差)编写 sgd(X, y, lr, batch, epochs, seed),在每个轮次打乱数据,返回 (w, losses),其中 losses 是每个轮次之后在全部数据上的损失。在批次 32、lr 0.05、10 个轮次时,它最后必须低于 0.02。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。