第 5 模块:优化
预热和余弦计划
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 最好的学习率在整个训练过程中并不是一样的。大型模型几乎总是用一个计划来训练:一个温和的开始、一段很长的高位中段,以及一次缓慢的降落。
看一看
播放动画。预热:在最初的几百步中,学习率从接近零沿一条直线爬升到它的峰值,因为在最开始,梯度很大而且不可靠。余弦衰减:然后它沿着半个余弦波滑下到一个小的下限,这样训练后期就会迈出小而谨慎的步子,并稳定在一个好的位置。
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
回顾 爬升、巡航、滑翔下降。
本课中的词语和符号
- 预热、余弦
- 让学习率从小开始,然后沿着一条余弦曲线滑下来
轮到你了
按照上面的公式编写 lr_at(step, total, warmup, peak, floor)(步数从 0 开始计数)。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。