课程大纲 第 95 课,共 246 课 · 第 8 模块:训练诊所 I
第 8 模块:训练诊所 I

你自己的探针

为什么重要 探针是你看到一次训练内部的方式。自己编写它们,意味着当一个工具把这些数字展示给你时,你会知道它们意味着什么。

三个探针承担了大部分工作:

  • 每层的梯度大小:每个权重矩阵梯度的长度(范数)。全部为零:什么都学不到。层与层之间差别巨大:有一层被饿着了。
  • 死亡比例:在一个批次中,对每一个样本都输出零的隐藏单元所占的比例。
  • 更新与权重之比:学习率乘以梯度大小,再除以权重大小。它说明一步会改变每个权重的多大比例。大约 0.001 到 0.1 是健康的;接近 1 意味着每一步都在重写权重;接近 0 意味着什么都没动。

这个测试工具公开了它的内部:_data(c) 给出训练数据,_init(c) 给出起始权重,而 _fb(p, X, y, c) 返回(损失、梯度、隐藏激活)。

本课中的词语和符号
探针
对一次训练的快速测量,比如梯度大小或死亡单元
更新与权重之比
一步相对于每个权重的大小会改变它多少
轮到你了

使用前 256 个训练样本和起始权重,编写 my_grad_norms(c)、my_dead_share(c) 和 my_update_ratio(c)。它们必须和诊所的探针一致。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。