第 4 模块:你自己的自动微分引擎
记录计算图并给它排序
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 反向传播必须在访问完每一个依赖于某个方框的方框之后,才能访问那个方框。把这个顺序弄错,会悄悄地得到错误的梯度。
看一看
想象 x 被用了两次:a = x * 2、b = x * 3、L = a + b。这是一个菱形。从 L 开始往回走,我们必须在处理 x 之前先处理完 a 和 b,因为 x 的梯度是从两者传回来的东西之和。
解决办法是按拓扑顺序列出节点:每一个节点都排在它所有的父节点之后。然后反向传播倒着走这个列表。一次深度优先搜索就能生成这个列表:先访问一个节点的父节点,然后加上这个节点,并跳过已经见过的节点。
拓扑顺序:一个计算图的一种排序,其中每一个节点都排在它所依赖的节点之后。
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- 拓扑顺序
- 每一个节点都列在它所依赖的节点之后
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
轮到你了
编写 topo 方法:返回 self 所依赖的每一个节点(包括它自己),每一个都排在它所有的父节点之后,并且没有重复。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。