构建 LSTM 的门
为什么重要 LSTM(1997 年,这里讲的遗忘门是在 2000 年加上的)解决了 RNN 的记忆问题,并在二十年里推动着语音识别和机器翻译。一旦你看明白了,它的技巧其实很简单。
看一看
播放动画。除了隐藏状态 h,LSTM 还保存着一个单元 c,一条记忆的传送带。三个门,每一个都是一个介于 0 和 1 之间的 sigmoid,决定它会发生什么:
- 遗忘门 f:保留多少旧的单元;
- 输入门 i:写入多少新的信息 g;
- 输出门 o:把多少单元显示为 h。
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
关键的一行是 c = f * c + i * g。往回走一步时,单元上的梯度乘以 f,仅此而已:没有反复乘以一个权重矩阵。它仍然会每一步缩小 f 倍,所以 k 步之后它是 f 的 k 次方。在 f = 0.95 时,50 步之后是 0.08;在 f = 0.999 时是 0.95。所以当一个 LSTM 的遗忘门保持非常接近 1 时,它能记住很久以前的东西,而下一课会测量多接近才算足够接近。
本课中的词语和符号
- 循环网络(RNN)
- 一次读取一步、并把一个隐藏状态向前传递的网络
- 隐藏状态 h
- 一个 RNN 从一步传到下一步的那个短的数字向量
- LSTM
- 一个带有记忆单元 c 和三个门(遗忘门、输入门、输出门)的 RNN
编写 lstm_step(x, h, c, W, b),返回 (h, c),其中 W 的形状是 (输入数 + 隐藏数, 4 * 隐藏数),四个四分之一部分的顺序是 i、f、g、o。输入是成批的:x 是 (batch, inputs),h 和 c 是 (batch, hidden),所以沿着 axis 1 把 x 和 h 连接起来。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。