第 3 模块:从神经元到 MLP
softmax 和交叉熵放在一起
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这门课里的每一个分类器都以 softmax 加交叉熵结尾。它们合在一起的梯度是深度学习中最有用的结果之一,而且很短。
很小的数字
logits [2, 1, 0],softmax [0.665, 0.245, 0.090],真实类别为 0(one-hot 为 [1, 0, 0])。损失对 logits 的梯度就是 softmax 减 one-hot:[-0.335, 0.245, 0.090]。用话来说:把真实类别的得分往上推,推多少看它差了多少;把其他每一个得分往下推,推多少看它错拿了多少概率。
One-hot:一个全是零的向量,只在真实类别处有一个 1。
对于一批数据,在各行上取平均:(softmax(Z) - onehot) / n。
回顾 梯度 = 预测减真实值,又一次。
本课中的词语和符号
- one-hot
- 全是零,只在真实类别处有一个 1
- 梯度检查
- 把你的梯度公式和“微调再测量”的估计进行比较
轮到你了
编写 loss_and_grad(Z, labels),返回平均交叉熵以及它对 Z(形状为 (batch, classes))的梯度。使用数值稳定的 softmax。提交之前先用你的梯度检查器自己检查一遍。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。