课程大纲 第 96 课,共 246 课 · 第 8 模块:训练诊所 I
第 8 模块:训练诊所 I

诊所:学习率故障

为什么重要 学习率是一次糟糕的训练最常见的原因。每一种错误都会留下不同的痕迹。

太高:步子迈过了头,损失上蹿下跳或者不断攀升,更新与权重之比接近或超过 1。太低:几乎什么都没动,损失停在 2.30 附近,比值非常小。下降得太早:训练学习了一阵子,然后就不再改进了:从那以后,损失只是围绕一个平庸的水平(这里大约在 1.1 到 1.5 之间)随批次上下波动;学习率计划显示学习率崩塌了。

下面的每一个案例都是一次被植入了一个故障的训练。对每一个案例:花费探针找出故障,然后以配置修改的形式写出一个修复。这一课中的故障:lr_too_high, lr_too_low, lr_dropped_early。探针用得越少越好;一个好的诊断者很少在每个案例上需要超过两个探针。

探针它告诉你什么
loss_curve(c)每 50 步的训练损失以及最终的验证准确率。总是先看它。
loss_at_init(c)训练前的损失。一个新的 10 类模型应该接近 ln(10) = 2.30。
overfit_one_batch(c)它能记住 32 个样本吗?一个健康的设置会接近 0。
grad_norms(c)开始时每个权重矩阵的梯度大小。为零意味着什么都学不到。
update_ratio(c)普通 SGD 的步长相对于权重大小的比例。健康的大约是 0.001 到 0.1(这是针对普通 SGD 的经验法则;第 14 模块会说明为什么 Adam 不同)。
act_stats(c)隐藏激活:均值、最大值、死亡单元所占的比例。
lr_schedule(c)第 0、50、100 步等处的学习率。
batch_labels(c)前几个批次中的标签。
overlap(c)有多少个验证样本也出现在训练中。
本课中的词语和符号
探针
对一次训练的快速测量,比如梯度大小或死亡单元
更新与权重之比
一步相对于每个权重的大小会改变它多少
轮到你了

为案例 A、B 和 C 填写 diagnosis(案例到故障名)和 fixes(案例到一个配置修改字典)。一个修复必须去掉故障,并训练到至少 90% 的验证准确率。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。