课程大纲 第 52 课,共 246 课 · 第 4 模块:你自己的自动微分引擎
第 4 模块:你自己的自动微分引擎

数字向前,梯度向后

为什么重要 在构建引擎之前,先在五个数字上确切地看清它必须做什么。

播放动画,慢慢地一步一步看。留意两件事。向前时,每个方框只需要它的输入。向后时,每个方框只需要从它后面那个方框到达的梯度,以及它自己的局部斜率。正是这种局部性让一个引擎成为可能:每一种运算只需要知道它自己的那一条小规则。

回顾 一个方框处的梯度 = 从它后面到达的梯度,乘以这个方框的局部斜率。当一个方框输入给另外两个方框时,把从两者传回来的东西加起来。

轮到你了

新的数字,同样的公式 L = (a * b + c) ** 2,其中 a = 1、b = 4、c = -2。手工算出来(除了这些数字,不需要任何代码),并设置 grad_a、grad_b 和 grad_c。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。