课程大纲 第 165 课,共 246 课 · 第 14 模块:训练诊所 II
第 14 模块:训练诊所 II

关卡:三次没见过的出问题的训练(关闭 AI)

为什么重要 在一个预算之内独自诊断,是这门课从第 8 模块起一直在培养的技能。

AI 导师已关闭。三次训练,每一次都有一个来自这个模块训练案例的故障。它们是新的训练,而不是练习中的案例:另一个种子,以及其他大小的故障,所以记住的数字不会对得上。你的预算总共是 9 个探针(训练一个被封存的案例算作一个),从页面打开起在每一次运行中累计(对同一个案例重复一个探针是免费的;一次错误的诊断或者一个不起作用的修复会花掉一个探针)。

下面的每一个案例都是一次被植入了一个故障的训练。对每一个案例:花费探针找出故障,然后以配置修改的形式写出一个修复,让训练恢复健康。这一课中的故障:any training fault from this module。一个好的诊断者很少在每个案例上需要超过两个探针。

探针它告诉你什么健康的训练
loss_curve(c)每 25 步的训练损失,以及最后在没见过的文本上的损失。总是先看它。从 4.55 降到大约 2.9;没见过的文本上大约 3.0
loss_at_init(c)训练前的损失。一个在 95 个字符上均匀猜测的新模型会给出 ln(95)。4.55
leak_check(c)一个靠后的字符能改变一个靠前的预测吗?False
show_batch(c)一个训练输入和它的目标,以文本形式显示。目标 = 输入左移一个字符
update_ratio(c)在 Adam 的第一步之后,权重相对于它们的大小移动了多远。这不是第 8 模块的规则:那个 0.001 到 0.1 的范围是针对普通 SGD 步骤的。Adam 的第一步会把每一个权重移动大约学习率那么多,不管它的梯度是多少,而这些权重一开始接近 0.02,所以 0.01 / 0.02 大约是 0.5。拿一个案例和这次健康的训练比较,而不是和第 8 模块的范围比较。大约 0.5
block_change(c)第一个块在开始时把每个向量改变了多少。大约 0.3
本课中的词语和符号
ln(V)
一个在 V 个符号上均匀猜测的模型的起始损失:对于 95 个字符是 4.55
块变化
一个块在开始时把一个向量改变了多少;接近 1 意味着它把向量替换掉了
轮到你了

为案例 A、B 和 C 填写 diagnosis(案例到故障名)和 fixes(案例到一个配置修改字典)。在你的修复之后,每一个设置都必须和健康的训练一致。

关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。