保存着自己权重的层
为什么重要 真实的网络有许多层。每一层都应该拥有它自己的权重,并且能把它们列出来,这样训练代码就永远不需要知道里面有什么。
一个 Linear 层把 W 和 b 保存为 Tensor,并计算 x @ W + b。一个 MLP 保存一个由 Linear 层组成的列表,它们之间夹着 ReLU。两者都提供 parameters(),即它们的权重 Tensor 的列表。
为什么要把梯度清零
你的 backward 会往每一个 grad 上累加。在一次传播之内这是对的,但在两步之间,旧的梯度仍然留在那里。忘了清除它,每一步就会使用所有过去梯度的和:训练会漂移,然后爆炸。所以每一步都是:把梯度清零、前向、反向、走一步。
参数:训练会改变的一个权重。zero_grad:在下一次反向传播之前,把每一个参数的 grad 重置为零。
让权重从 sqrt(2 / inputs) 的离散程度开始,这能让信号在穿过 ReLU 层时保持一个合理的大小。第 6 模块会解释原因。
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
- zero_grad
- 在下一步之前重置梯度,因为 backward 会往梯度上累加
按描述的方式编写 Linear、MLP、zero_grad(params) 和 sgd_step(params, lr)。MLP([64, 32, 10], rng) 会创建两个 Linear 层,它们之间有一个 ReLU,最后一层之后没有。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。