课程大纲 第 125 课,共 246 课 · 第 11 模块:有记忆的网络(RNN)
第 11 模块:有记忆的网络(RNN)

序列与状态

为什么重要 文本、语音、价格和传感器读数是一步一步到达的,而之前出现的东西会改变接下来出现的东西。一个循环网络会把一个累计的摘要向前传递。

一个循环神经网络(RNN)会保存一个隐藏状态 h,一个短向量。在每一步,它把新的输入和旧的状态混合起来,再把结果压缩:

h = tanh(x_t @ Wx + h @ Wh + b)

每一步都使用同样的权重,就像一个 CNN 在每个位置上重复使用它的滤波器一样。最终的 h 取决于网络读过的一切,所以它是整个序列的一份(有损的)记忆。

很小的数字

一个输入数字、一个隐藏数字,Wx = 1,Wh = 0.5,b = 0,h 从 0 开始。先读 1 再读 0:h = tanh(1) = 0.76,然后 h = tanh(0 + 0.38) = 0.36。第一个输入在第二步之后仍然体现在状态中,只是在逐渐消退。

隐藏状态:一个 RNN 从一步传到下一步的向量。循环的:把自己的输出作为输入再送回去。

本课中的词语和符号
循环网络(RNN)
一次读取一步、并把一个隐藏状态向前传递的网络
轮到你了

编写 rnn_forward(xs, Wx, Wh, b):xs 的形状是 (步数, 输入大小);从一个零状态开始,返回每一步之后的隐藏状态列表。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。