第 8 模块:训练诊所 I
关卡:三次没见过的出问题的训练(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 在一个预算之内独自诊断,正是这个模块要培养的技能。
AI 导师已关闭。三次训练,每一次都有一个来自这个模块任意地方的故障。它们是新的训练,而不是练习中的案例:其他的种子、另一个批次大小,以及其他大小的故障,所以你从练习中记住的数字不会对得上。你的预算总共是 9 个探针(训练一个被封存的案例算作一个),从页面打开起在每一次运行中累计(对同一个案例重复一个探针是免费的;一次错误的诊断或者一个不起作用的修复会花掉一个探针)。
下面的每一个案例都是一次被植入了一个故障的训练。对每一个案例:花费探针找出故障,然后以配置修改的形式写出一个修复。这一课中的故障:any fault from this module。探针用得越少越好;一个好的诊断者很少在每个案例上需要超过两个探针。
| 探针 | 它告诉你什么 |
|---|---|
loss_curve(c) | 每 50 步的训练损失以及最终的验证准确率。总是先看它。 |
loss_at_init(c) | 训练前的损失。一个新的 10 类模型应该接近 ln(10) = 2.30。 |
overfit_one_batch(c) | 它能记住 32 个样本吗?一个健康的设置会接近 0。 |
grad_norms(c) | 开始时每个权重矩阵的梯度大小。为零意味着什么都学不到。 |
update_ratio(c) | 普通 SGD 的步长相对于权重大小的比例。健康的大约是 0.001 到 0.1(这是针对普通 SGD 的经验法则;第 14 模块会说明为什么 Adam 不同)。 |
act_stats(c) | 隐藏激活:均值、最大值、死亡单元所占的比例。 |
lr_schedule(c) | 第 0、50、100 步等处的学习率。 |
batch_labels(c) | 前几个批次中的标签。 |
overlap(c) | 有多少个验证样本也出现在训练中。 |
本课中的词语和符号
- 探针
- 对一次训练的快速测量,比如梯度大小或死亡单元
轮到你了
为案例 A、B 和 C 填写 diagnosis(案例到故障名)和 fixes(案例到一个配置修改字典)。一个修复必须去掉故障,并训练到至少 90% 的验证准确率。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。