第 14 模块:训练诊所 II
诀窍,用于序列模型
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 第 8 模块的两项检查(开始时的损失、记住一个批次)仍然适用。序列模型增加了一些新的悄无声息地失败的方式,而两项廉价的检查能在你花费任何计算之前抓住其中最糟糕的那些。
这个诊所的模型是一个小型 GPT:宽度 16、2 个块、2 个头、16 个字符的上下文,在课程文本上做 200 步 Adam。它几秒钟就能训练完,所以你可以负担得起去探查。
检查 1:起始损失
一个带有小权重的新模型会把它的猜测均匀地分布在 V 个字符上,所以它的损失是 ln(V)。对于 95 个字符,那就是 4.55。远高于它,意味着某样东西的缩放不对;远低于它,意味着模型得到了它不该有的帮助。
检查 2:不许偷看
改变一个输入的最后一个字符。如果对一个更早位置的任何预测发生了变化,模型就能看到未来(第 13 模块),而你得到的每一个训练数字都好得不像是真的。
| 探针 | 它告诉你什么 | 健康的训练 |
|---|---|---|
loss_curve(c) | 每 25 步的训练损失,以及最后在没见过的文本上的损失。总是先看它。 | 从 4.55 降到大约 2.9;没见过的文本上大约 3.0 |
loss_at_init(c) | 训练前的损失。一个在 95 个字符上均匀猜测的新模型会给出 ln(95)。 | 4.55 |
leak_check(c) | 一个靠后的字符能改变一个靠前的预测吗? | False |
show_batch(c) | 一个训练输入和它的目标,以文本形式显示。 | 目标 = 输入左移一个字符 |
update_ratio(c) | 在 Adam 的第一步之后,权重相对于它们的大小移动了多远。这不是第 8 模块的规则:那个 0.001 到 0.1 的范围是针对普通 SGD 步骤的。Adam 的第一步会把每一个权重移动大约学习率那么多,不管它的梯度是多少,而这些权重一开始接近 0.02,所以 0.01 / 0.02 大约是 0.5。拿一个案例和这次健康的训练比较,而不是和第 8 模块的范围比较。 | 大约 0.5 |
block_change(c) | 第一个块在开始时把每个向量改变了多少。 | 大约 0.3 |
本课中的词语和符号
- ln(V)
- 一个在 V 个符号上均匀猜测的模型的起始损失:对于 95 个字符是 4.55
- 好得不像是真的
- 训练损失远好于一次健康的训练,而在没见过的文本上的损失远差于它
- 块变化
- 一个块在开始时把一个向量改变了多少;接近 1 意味着它把向量替换掉了
轮到你了
使用诊所自己的 _init、_logits 和 DATA,编写 expected_start(V) 和 my_leak_check(c)。它们必须和诊所的探针一致。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。