第 4 模块:你自己的自动微分引擎
求和、均值、变形和转置
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 一个损失是一个和或者一个均值,而各层总是在变形和转置。每一种都需要一条反向规则,而每一条规则都只有一行。
- sum(求和成一个数字):每一项都以斜率 1 作出了贡献,所以每一项都得到到达的梯度。梯度:输入形状的全 1 数组,乘以 out.grad。
- mean:一个和乘以 1/size。用 sum 和乘法来构建它,这样它就不需要自己的规则了。
- reshape:值只是被重新排列了,所以把梯度变形回输入的形状。
- transpose:把梯度转置回去。
回顾 把数字挪来挪去,梯度就以同样的方式挪回去。
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
轮到你了
编写 sum、mean、reshape 和 T 属性,以及它们的反向规则。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。