第 8 模块:训练诊所 I
你自己的探针
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 探针是你看到一次训练内部的方式。自己编写它们,意味着当一个工具把这些数字展示给你时,你会知道它们意味着什么。
三个探针承担了大部分工作:
- 每层的梯度大小:每个权重矩阵梯度的长度(范数)。全部为零:什么都学不到。层与层之间差别巨大:有一层被饿着了。
- 死亡比例:在一个批次中,对每一个样本都输出零的隐藏单元所占的比例。
- 更新与权重之比:学习率乘以梯度大小,再除以权重大小。它说明一步会改变每个权重的多大比例。大约 0.001 到 0.1 是健康的;接近 1 意味着每一步都在重写权重;接近 0 意味着什么都没动。
这个测试工具公开了它的内部:_data(c) 给出训练数据,_init(c) 给出起始权重,而 _fb(p, X, y, c) 返回(损失、梯度、隐藏激活)。
本课中的词语和符号
- 探针
- 对一次训练的快速测量,比如梯度大小或死亡单元
- 更新与权重之比
- 一步相对于每个权重的大小会改变它多少
轮到你了
使用前 256 个训练样本和起始权重,编写 my_grad_norms(c)、my_dead_share(c) 和 my_update_ratio(c)。它们必须和诊所的探针一致。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。