第 11 模块:有记忆的网络(RNN)
序列与状态
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 文本、语音、价格和传感器读数是一步一步到达的,而之前出现的东西会改变接下来出现的东西。一个循环网络会把一个累计的摘要向前传递。
一个循环神经网络(RNN)会保存一个隐藏状态 h,一个短向量。在每一步,它把新的输入和旧的状态混合起来,再把结果压缩:
h = tanh(x_t @ Wx + h @ Wh + b)
每一步都使用同样的权重,就像一个 CNN 在每个位置上重复使用它的滤波器一样。最终的 h 取决于网络读过的一切,所以它是整个序列的一份(有损的)记忆。
很小的数字
一个输入数字、一个隐藏数字,Wx = 1,Wh = 0.5,b = 0,h 从 0 开始。先读 1 再读 0:h = tanh(1) = 0.76,然后 h = tanh(0 + 0.38) = 0.36。第一个输入在第二步之后仍然体现在状态中,只是在逐渐消退。
隐藏状态:一个 RNN 从一步传到下一步的向量。循环的:把自己的输出作为输入再送回去。
本课中的词语和符号
- 循环网络(RNN)
- 一次读取一步、并把一个隐藏状态向前传递的网络
轮到你了
编写 rnn_forward(xs, Wx, Wh, b):xs 的形状是 (步数, 输入大小);从一个零状态开始,返回每一步之后的隐藏状态列表。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。