第 4 模块:你自己的自动微分引擎
Tensor:一个会记住的数组
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 引擎唯一的数据类型就是 Tensor:一个数组,加上一个存放它梯度的位置,再加上一条关于它从哪里来的记录。
一个 Tensor 保存三样东西:
data:由值组成的 NumPy 数组。grad:一个同样形状的数组,从零开始,由 backward 来填充。parents:计算出它的那些 Tensor(对于输入和权重则为空)。
每一种运算都会创建一个新的 Tensor,并记录下它的父节点。今天只写 + 和 * 的前向部分:计算值,并记住父节点。
Tensor:在深度学习中,就是一个 n 维数组。在这里,它是一个还携带着梯度和自身历史的数组。
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
轮到你了
填写 __add__ 和 __mul__,让它们返回一个新的 Tensor,其 data 是和或积,其 parents 是 (self, other)。普通的数字也应该能用,通过 Tensor.lift。暂时不要动 _backward。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。