找出并修复被植入的缺陷
为什么重要 机器学习中最糟糕的缺陷不会崩溃。它们会训练,比本该有的效果差一点,而且没有人注意到。一次梯度检查能在几秒钟内找出它们。
一位同事为了让它更快,重写了工作室的梯度代码:suspect_grads。你读不到它,就像真实工作中常见的那样(一个库、一位队友的分支、生成的代码)。用它训练,你的基线仍然能学习:在课程默认的计划上,language 的分数只差了大约 0.05,而在 images 上,用种子 0,它甚至得分更高。两者都在一个粗心的读者会称为噪声的范围之内。它里面有某样东西是错的。
用第 3 模块教的方式检查它:把一个权重微调一个很小的量,测量损失的变化,然后和代码声称的斜率做比较。在一个小模型上(宽度 8,一个 16 的批次),对 W1、b1、W2 和 b2 各做 5 个条目,从声称的斜率不为零的条目中挑选(在独热输入下,W1 的大部分斜率恰好为 0,在那里做检查什么也证明不了)。用 studio.loss64 以 float64 测量损失,微调量为 1e-4;把一个高于 0.01 的相对误差判为错误。
本课中的词语和符号
- 基线
- 每一个改动都要在同样的种子上与之比较的那次普通训练
- 梯度检查
- 把你的代码计算出的斜率和通过微调一个权重测量出的斜率做比较
编写 check(grad_fn),对 'W1'、'b1'、'W2'、'b2' 中的每一个,返回 5 个条目上最大的相对误差。把 wrong 设为误差高于 0.01 的那些名字的排序列表,把 cause 设为一句话:反向传播中位于错误梯度所在之处的是什么,以及那里可能漏掉了什么。然后自己编写 fixed_grads(前向传播是 m.forward;损失和它的斜率是 studio.loss_and_dout)。然后用两者分别训练你的基线(种子 0),并打印两个分数。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。