第 6 模块:起始权重与归一化
太小、太大:消失和爆炸
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 一个消失了的信号意味着每一个梯度都几乎为零,训练停滞。一个爆炸了的信号意味着溢出和 nan。两者都来自起始权重。
看一看
播放动画:同一个 20 层的堆叠以三种方式开始。太小,信号会一层一层地消退到什么都没有。太大,它会不断翻倍,直到溢出。刚刚好,它会一路保持稳定。回程中的梯度也会遭遇同样的命运。
消失:激活或梯度在穿过各层时缩小到接近零。爆炸:无限制地增长。
本课中的词语和符号
- 消失、爆炸
- 信号或梯度在穿过各层时缩小到什么都没有,或者无限制地增长
- Xavier、LeCun、He
- 起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
轮到你了
使用你在上一课中写的 spreads(已提供),编写 verdict(scale):如果最终的离散程度低于 1e-3 就返回 "vanish",如果高于 1e3 就返回 "explode",否则返回 "ok"。然后在运行之前,为缩放 0.05、0.14 和 0.5 填写 my_predictions。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。