第 5 模块:优化
快速找到一个学习率,以及裁剪尖峰
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 猜学习率会浪费好几天。一次短的训练就能告诉你一个好的学习率。而一个坏的批次可能会让一次训练爆炸,除非你给步子设一个上限。
范围测试
训练几百步,同时每一步都把学习率提高一点,从很小到很大,并记录损失。一开始什么都没发生;然后损失迅速下降;然后它爆炸了。一个好的学习率位于损失下降得最快的地方,比爆炸点稍低一点。一条常见的规则是:取损失最低处的学习率,再除以 10。
裁剪
如果梯度的总大小(它的长度,或者范数)超过了一个限制,就把整个梯度缩小到那个长度。方向被保留了;只有一个罕见的巨大步子被驯服了。
梯度范数:把所有梯度当作一个长向量时的长度:它们平方和的平方根。
本课中的词语和符号
- 梯度范数、裁剪
- 梯度的总大小,以及给它设上限
轮到你了
编写 pick_lr(lrs, losses):损失最低处的学习率除以 10。以及 clip(grads, max_norm):grads 是一个由数组组成的列表;如果它们合起来的范数超过了 max_norm,就把它们全部缩放到范数等于 max_norm 再返回,否则原样返回。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。