课程大纲 第 76 课,共 246 课 · 第 6 模块:起始权重与归一化
第 6 模块:起始权重与归一化

太小、太大:消失和爆炸

为什么重要 一个消失了的信号意味着每一个梯度都几乎为零,训练停滞。一个爆炸了的信号意味着溢出和 nan。两者都来自起始权重。

看一看

播放动画:同一个 20 层的堆叠以三种方式开始。太小,信号会一层一层地消退到什么都没有。太大,它会不断翻倍,直到溢出。刚刚好,它会一路保持稳定。回程中的梯度也会遭遇同样的命运。

消失:激活或梯度在穿过各层时缩小到接近零。爆炸:无限制地增长。

本课中的词语和符号
消失、爆炸
信号或梯度在穿过各层时缩小到什么都没有,或者无限制地增长
Xavier、LeCun、He
起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
轮到你了

使用你在上一课中写的 spreads(已提供),编写 verdict(scale):如果最终的离散程度低于 1e-3 就返回 "vanish",如果高于 1e3 就返回 "explode",否则返回 "ok"。然后在运行之前,为缩放 0.05、0.14 和 0.5 填写 my_predictions。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。