第 6 模块:起始权重与归一化
死亡的 ReLU
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 一个对每一个输入都关闭的 ReLU 不传递任何梯度,所以它再也学不到东西了。整层都可能悄悄地死掉。
如果一个单元对一个批次中的每一个样本都输出零,它就是死亡的。常见的原因:一个很大的负偏置,或者一次巨大的更新把它的权重推到了很负的地方。
很小的数字
4 个样本、3 个单元的激活:[[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]。单元 1 处处为零:死亡。单元 3 激活过一次:存活。死亡比例:3 个中 1 个。
修复方法:合理的起始权重、从 0(或稍微为正)开始的偏置、一个更小的学习率,或者 leaky ReLU,它为负的输入保留一个小的斜率(比如 0.01),这样单元就能恢复。
本课中的词语和符号
- Xavier、LeCun、He
- 起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
轮到你了
为一个激活矩阵(样本 × 单元)编写 dead_fraction(H)。然后,对于下面那个以 -4 的偏置开始的层,编写 fixed_layer(X, W),保持同样的权重,但使用零偏置和一个斜率为 0.01 的 leaky ReLU;它的死亡比例(统计恰好为零的输出)必须为 0。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。