课程大纲 第 61 课,共 246 课 · 第 4 模块:你自己的自动微分引擎
第 4 模块:你自己的自动微分引擎

保存着自己权重的层

为什么重要 真实的网络有许多层。每一层都应该拥有它自己的权重,并且能把它们列出来,这样训练代码就永远不需要知道里面有什么。

一个 Linear 层把 W 和 b 保存为 Tensor,并计算 x @ W + b。一个 MLP 保存一个由 Linear 层组成的列表,它们之间夹着 ReLU。两者都提供 parameters(),即它们的权重 Tensor 的列表。

为什么要把梯度清零

你的 backward 会往每一个 grad 上累加。在一次传播之内这是对的,但在两步之间,旧的梯度仍然留在那里。忘了清除它,每一步就会使用所有过去梯度的和:训练会漂移,然后爆炸。所以每一步都是:把梯度清零、前向、反向、走一步。

参数:训练会改变的一个权重。zero_grad:在下一次反向传播之前,把每一个参数的 grad 重置为零。

让权重从 sqrt(2 / inputs) 的离散程度开始,这能让信号在穿过 ReLU 层时保持一个合理的大小。第 6 模块会解释原因。

本课中的词语和符号
Tensor
在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
unbroadcast
把一个梯度求和还原成它被拉伸之前的形状
zero_grad
在下一步之前重置梯度,因为 backward 会往梯度上累加
轮到你了

按描述的方式编写 Linear、MLP、zero_grad(params) 和 sgd_step(params, lr)。MLP([64, 32, 10], rng) 会创建两个 Linear 层,它们之间有一个 ReLU,最后一层之后没有。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。