第 4 模块:你自己的自动微分引擎
一步完成 softmax 和交叉熵
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 你可以用 exp、sum 和除法来构建 softmax,但结果会更慢,而且可能溢出。每一个真实的库都会把 softmax 和交叉熵融合成一种运算,带有你在第 3 模块中推导出的那个简单梯度。
一个融合的运算一次性完成它的前向计算(为了安全使用最大值平移),并且只有一条反向规则:(softmax - onehot) / n,乘以到达的梯度。你还需要为一个网络准备 relu:在输入为正的地方让梯度通过。
回顾 能融合的就融合;合起来的梯度比它的各部分更简单。
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
轮到你了
编写 relu 和 cross_entropy(labels)(作用在一个由 logits 组成的 (batch, classes) Tensor 上,返回一个标量 Tensor),以及它们的反向规则。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。