课程大纲 第 35 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

交叉熵是乔装打扮的似然

为什么重要 分类器是用一个叫作交叉熵的损失来训练的。它听起来很新,但它就是两课之前那个似然的想法。

很小的数字

一个模型说数字 0、1 和 2 的概率是 [0.665, 0.245, 0.090]。真实的数字是 0。模型认为真实答案的可能性有多大?0.665。在最大似然之下,我们希望这个数字大;作为一个损失,我们想要的是一个小的东西,所以我们取它的对数的负数:-log(0.665) = 0.408。

如果真实的数字是 2,损失会是 -log(0.090) = 2.41:模型只给了真实答案 9%,所以它会受到重罚。一个完美的预测(概率为 1)损失为 0。

交叉熵损失:模型给真实答案的概率的对数的负数,在各个例子上取平均。它恰好就是负对数似然。

每一行挑出一项

对于一批数据,你需要每一行在它真实那一列上的概率。NumPy 用两个长度相同的索引数组来做到这一点:probs[rows, cols] 会挑出 probs[rows[0], cols[0]]、probs[rows[1], cols[1]],以此类推。当 probs = [[0.7, 0.3], [0.2, 0.8]]、标签为 [0, 1] 时,probs[np.arange(2), labels] 给出 [0.7, 0.8]:第 0 行第 0 列,然后第 1 行第 1 列。这叫作花式索引。

一个有用的参照点:一个在 10 个类别上均匀猜测的模型给每一个类别 0.1,所以它的损失是 -log(0.1) = 2.30。一个新的分类器开始时就在这附近。

回顾 损失 = -log(给真实答案的概率)。

本课中的词语和符号
似然
在模型的一个设置下,你看到的数据有多大的概率
交叉熵
给正确答案的概率的对数的负数
轮到你了

编写 cross_entropy(probs, labels):probs 是一个 (batch, classes) 的概率数组,labels 保存每一行的真实类别;返回 -log(真实类别的概率)的平均值。不用循环。然后把 uniform_10_loss 设为在 10 个类别上均匀猜测的损失。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。