随时间的反向传播就是普通的反向传播
为什么重要 “随时间的反向传播”听起来像是一种新的算法。它不是:把循环展开,它就是在一个各层共享同一组权重的深层网络上做反向传播。
看一看
播放动画。一个 RNN 的三个步骤并排画出来,就是三层。同一个权重 w 出现在每一层中。反向传播时,w 的梯度会从每一个副本收集一份贡献,就像在你第 4 模块的引擎中一个被用了好几次的节点一样。
很小的数字
一个只有一个数字的线性 RNN:h_t = w h_(t-1) + x_t,从 h_0 = 0 开始,损失 = h_3。输入为 1、2、3,w = 0.5:h1 = 1,h2 = 2.5,h3 = 4.25。dL/dh3 = 1。往回走,dL/dh2 = w = 0.5,dL/dh1 = w 的平方 = 0.25。w 的每一个副本贡献(它输出处的梯度)乘以(它所乘的那个 h):1 乘以 h2 + 0.5 乘以 h1 + 0.25 乘以 h0 = 2.5 + 0.5 + 0 = 3.0。
BPTT:随时间的反向传播;把各个步骤展开并做反向传播,把来自每一个共享某个权重的步骤的梯度加起来。
本课中的词语和符号
- 循环网络(RNN)
- 一次读取一步、并把一个隐藏状态向前传递的网络
- 随时间的反向传播(BPTT)
- 把各个步骤展开并做反向传播,加上来自每一个共享某个权重的步骤的梯度
对于只有一个数字的 RNN h_t = w * h_(t-1) + x_t,其中 h_0 = 0、损失为 h_T(最后的状态),编写 bptt(xs, w),通过沿着各个步骤往回走来返回 dL/dw。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。