课程大纲 第 127 课,共 246 课 · 第 11 模块:有记忆的网络(RNN)
第 11 模块:有记忆的网络(RNN)

随时间的反向传播就是普通的反向传播

为什么重要 “随时间的反向传播”听起来像是一种新的算法。它不是:把循环展开,它就是在一个各层共享同一组权重的深层网络上做反向传播。

看一看

播放动画。一个 RNN 的三个步骤并排画出来,就是三层。同一个权重 w 出现在每一层中。反向传播时,w 的梯度会从每一个副本收集一份贡献,就像在你第 4 模块的引擎中一个被用了好几次的节点一样。

很小的数字

一个只有一个数字的线性 RNN:h_t = w h_(t-1) + x_t,从 h_0 = 0 开始,损失 = h_3。输入为 1、2、3,w = 0.5:h1 = 1,h2 = 2.5,h3 = 4.25。dL/dh3 = 1。往回走,dL/dh2 = w = 0.5,dL/dh1 = w 的平方 = 0.25。w 的每一个副本贡献(它输出处的梯度)乘以(它所乘的那个 h):1 乘以 h2 + 0.5 乘以 h1 + 0.25 乘以 h0 = 2.5 + 0.5 + 0 = 3.0。

BPTT:随时间的反向传播;把各个步骤展开并做反向传播,把来自每一个共享某个权重的步骤的梯度加起来。

本课中的词语和符号
循环网络(RNN)
一次读取一步、并把一个隐藏状态向前传递的网络
随时间的反向传播(BPTT)
把各个步骤展开并做反向传播,加上来自每一个共享某个权重的步骤的梯度
轮到你了

对于只有一个数字的 RNN h_t = w * h_(t-1) + x_t,其中 h_0 = 0、损失为 h_T(最后的状态),编写 bptt(xs, w),通过沿着各个步骤往回走来返回 dL/dw。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。