第 8 模块:训练诊所 I
诀窍:在做任何事之前先做两项检查
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 大多数出问题的训练,都能在你花一个小时去训练之前,用两项廉价的检查在一分钟内抓住。
有经验的从业者会用同样的方式开始每一个新的设置:
- 检查开始时的损失。在训练之前,一个什么都不知道的 10 类模型会给每个类别大约 0.1 的概率,所以它的损失应该大约是 -ln(0.1) = 2.30。远高于这个值,意味着某样东西的缩放不对。远低于这个值,意味着答案通过输入到达了模型。不是每一种泄漏都会在这里显现:当验证图像也出现在训练集中时,开始时的损失是正常的(这个诊所中健康的训练和它的泄漏案例都从 2.46 开始),只有一个好得过头的验证分数才会暴露它。
- 过拟合一个批次。在一个小批次上训练几百步。任何能正常工作的模型和训练循环都能记住 32 个样本,并把损失压到接近零。如果它做不到,缺陷就在模型、损失或梯度里,而你在没有碰完整数据的情况下就找到了它。
- 只有到那时,才扩大到完整的训练。
这个诊所是一个你可以有意弄坏的小型数字分类器。config(**changes) 创建一个设置;train(c) 运行它。
| 探针 | 它告诉你什么 |
|---|---|
loss_curve(c) | 每 50 步的训练损失以及最终的验证准确率。总是先看它。 |
loss_at_init(c) | 训练前的损失。一个新的 10 类模型应该接近 ln(10) = 2.30。 |
overfit_one_batch(c) | 它能记住 32 个样本吗?一个健康的设置会接近 0。 |
grad_norms(c) | 开始时每个权重矩阵的梯度大小。为零意味着什么都学不到。 |
update_ratio(c) | 普通 SGD 的步长相对于权重大小的比例。健康的大约是 0.001 到 0.1(这是针对普通 SGD 的经验法则;第 14 模块会说明为什么 Adam 不同)。 |
act_stats(c) | 隐藏激活:均值、最大值、死亡单元所占的比例。 |
lr_schedule(c) | 第 0、50、100 步等处的学习率。 |
batch_labels(c) | 前几个批次中的标签。 |
overlap(c) | 有多少个验证样本也出现在训练中。 |
本课中的词语和符号
- 探针
- 对一次训练的快速测量,比如梯度大小或死亡单元
- 过拟合一个批次
- 检查一个设置能否记住少数几个样本
轮到你了
编写 sanity(c),使用这些探针,返回一个包含 init_ok(开始时的损失和 2.30 相差在 0.3 以内)和 can_overfit(过拟合一个批次的损失低于 0.1)的字典。把它应用到健康的设置和 suspect 上。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。