梯度消失和梯度爆炸,测量出来
为什么重要 你刚刚看到,一个早期步骤的梯度每经过一步就要乘以一次 w。步骤很多时,这个乘积要么缩小到什么都没有,要么爆炸。这是普通 RNN 的主要弱点。
用一个权重矩阵 W 代替一个数字时,往回走一步会把梯度乘以 W 的转置(忽略 tanh,它只会让梯度缩得更小)。一步最多能把一个向量放大 W 的最大拉伸倍数,也就是它的谱范数。经过许多步时,要紧的是谱半径,即 W 最大特征值的大小(第 2 模块,“离散程度如何叠加,以及一个矩阵会拉伸什么”):k 步之后,大小大约变为 r 的 k 次方。(对于下面用到的旋转,两者是同一个数字 r。)r = 0.9 经过 50 步:0.005。r = 1.1 经过 50 步:117。
两种不同的疗法
梯度爆炸有一种粗糙的疗法:裁剪它们(第 5 模块)。梯度消失没有这样的疗法。一个权重的总梯度是在时间上往回每一段距离的总和;当长距离的项像 0.9 的 50 次方那样缩小时,它们就会被短距离的项淹没,而把整个和放大也会同时放大其中的噪声。网络根本没法知道很久以前的某样东西是要紧的。那里的疗法是一种不同的架构:接下来的 LSTM。
本课中的词语和符号
- 循环网络(RNN)
- 一次读取一步、并把一个隐藏状态向前传递的网络
- 梯度消失 / 梯度爆炸
- 一个梯度被同一个矩阵乘了许多次,缩小到什么都没有或者爆炸
- LSTM
- 一个带有记忆单元 c 和三个门(遗忘门、输入门、输出门)的 RNN
编写 gradient_sizes(W, steps):从一个全为 1 的梯度开始,每一步乘以一次 W.T,并返回范数的列表(每一步一个)。然后根据 50 步之后的范数(低于 0.01、在 0.01 和 100 之间、高于 100),把三个矩阵的 verdicts 设为 "vanish"、"steady" 或 "explode"。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。