课程大纲 第 73 课,共 246 课 · 第 5 模块:优化
第 5 模块:优化

快速找到一个学习率,以及裁剪尖峰

为什么重要 猜学习率会浪费好几天。一次短的训练就能告诉你一个好的学习率。而一个坏的批次可能会让一次训练爆炸,除非你给步子设一个上限。

范围测试

训练几百步,同时每一步都把学习率提高一点,从很小到很大,并记录损失。一开始什么都没发生;然后损失迅速下降;然后它爆炸了。一个好的学习率位于损失下降得最快的地方,比爆炸点稍低一点。一条常见的规则是:取损失最低处的学习率,再除以 10。

裁剪

如果梯度的总大小(它的长度,或者范数)超过了一个限制,就把整个梯度缩小到那个长度。方向被保留了;只有一个罕见的巨大步子被驯服了。

梯度范数:把所有梯度当作一个长向量时的长度:它们平方和的平方根。

本课中的词语和符号
梯度范数、裁剪
梯度的总大小,以及给它设上限
轮到你了

编写 pick_lr(lrs, losses):损失最低处的学习率除以 10。以及 clip(grads, max_norm):grads 是一个由数组组成的列表;如果它们合起来的范数超过了 max_norm,就把它们全部缩放到范数等于 max_norm 再返回,否则原样返回。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。