第 4 模块:你自己的自动微分引擎
关卡:添加一种新的运算(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 添加一种运算及其反向规则,并检查它,正是你在第 3 阶段中为每一种新层都要做的事。在这里你要独自完成它。已经掌握这个模块了?你可以先参加这个关卡,再学其他的课:通过它会把这个模块标记为完成,并打开下一个模块。
AI 导师已关闭。给你的引擎添加 tanh、exp 和 log,每一个都带有它的反向规则。自己推导出每一个的局部斜率(第 2 模块中的斜率,并且在相信它之前用微调检查每一个)。
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
- zero_grad
- 在下一步之前重置梯度,因为 backward 会往梯度上累加
轮到你了
在 Tensor 上编写这三个方法。隐藏的测试会在新的输入上,对一个用到全部三者的公式做梯度检查。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
代码 · 在你的浏览器里运行
输出
你的学习进度会被匿名统计。 更改
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。