课程大纲 第 105 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

构建一个自动求导引擎

你手工算出了一个梯度,并对它做了梯度检查。真实的网络有数百万个参数,所以你没法逐一手工推导。让深度学习成为可能的诀窍是自动微分:每个值都记得自己是怎么算出来的,梯度会自动沿着这份记录反向流动。你马上就要用几行代码构建这个引擎,它和 PyTorch 以及 Karpathy 的 micrograd 里面是同一个想法。

基本单元是一个 Value:一个数,它同时存着自己的梯度,以及一个知道怎样把梯度推给输入的小函数。当你把两个 Value 相加或相乘时,结果会记下它的父节点。下面的脚手架给了你 __init__ 和一个按正确顺序遍历这张图的 backward()(先做拓扑排序,再从输出往回应用链式法则)。你来实现这两个局部梯度,这就是整堂课的内容:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

加法只是把传进来的梯度复制给两个输入。乘法才是链式法则真正起作用的地方:d(a*b)/da = b,d(a*b)/db = a,各自再乘以从上方流进来的梯度(out.grad)。注意是 +=,不是 =:一个在多处使用的值,会从每一处累积梯度。

补全 __add__ 和 __mul__,让它们的 _backward 闭包设置正确的局部梯度。隐藏测试会构建表达式、调用 .backward(),并拿有限差分对每个结果做梯度检查,所以错误的规则无法通过。按 Run,对 a*b + a 做反向传播。

轮到你了

补全 Value 类的 __add__ 和 __mul__,让反向传播正确。在 __add__ 的 _backward 里,把 out.grad 同时加到 self.grad 和 other.grad 上(局部导数为 1)。在 __mul__ 的 _backward 里,把 other.data * out.grad 加到 self.grad 上,把 self.data * out.grad 加到 other.grad 上(乘积法则)。用 +=,让被重复使用的值累积梯度。给定的 backward() 负责处理顺序。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。