课程大纲 第 72 课,共 246 课 · 第 5 模块:优化
第 5 模块:优化

预热和余弦计划

为什么重要 最好的学习率在整个训练过程中并不是一样的。大型模型几乎总是用一个计划来训练:一个温和的开始、一段很长的高位中段,以及一次缓慢的降落。

看一看

播放动画。预热:在最初的几百步中,学习率从接近零沿一条直线爬升到它的峰值,因为在最开始,梯度很大而且不可靠。余弦衰减:然后它沿着半个余弦波滑下到一个小的下限,这样训练后期就会迈出小而谨慎的步子,并稳定在一个好的位置。

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

回顾 爬升、巡航、滑翔下降。

本课中的词语和符号
预热、余弦
让学习率从小开始,然后沿着一条余弦曲线滑下来
轮到你了

按照上面的公式编写 lr_at(step, total, warmup, peak, floor)(步数从 0 开始计数)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。