课程大纲 第 78 课,共 246 课 · 第 6 模块:起始权重与归一化
第 6 模块:起始权重与归一化

死亡的 ReLU

为什么重要 一个对每一个输入都关闭的 ReLU 不传递任何梯度,所以它再也学不到东西了。整层都可能悄悄地死掉。

如果一个单元对一个批次中的每一个样本都输出零,它就是死亡的。常见的原因:一个很大的负偏置,或者一次巨大的更新把它的权重推到了很负的地方。

很小的数字

4 个样本、3 个单元的激活:[[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]。单元 1 处处为零:死亡。单元 3 激活过一次:存活。死亡比例:3 个中 1 个。

修复方法:合理的起始权重、从 0(或稍微为正)开始的偏置、一个更小的学习率,或者 leaky ReLU,它为负的输入保留一个小的斜率(比如 0.01),这样单元就能恢复。

本课中的词语和符号
Xavier、LeCun、He
起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
轮到你了

为一个激活矩阵(样本 × 单元)编写 dead_fraction(H)。然后,对于下面那个以 -4 的偏置开始的层,编写 fixed_layer(X, W),保持同样的权重,但使用零偏置和一个斜率为 0.01 的 leaky ReLU;它的死亡比例(统计恰好为零的输出)必须为 0。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。