课程大纲 第 34 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

把得分变成概率(softmax)

为什么重要 一个数字分类器最后会给出 10 个原始得分,每个数字一个。要把它们读成“每个数字有多大可能”,它们必须为正,并且加起来等于 1。

很小的数字

得分 [2, 1, 0]。用 exp 让它们变成正数:大约 [7.39, 2.72, 1.00]。除以总和 11.11:[0.665, 0.245, 0.090]。它们加起来等于 1,保持同样的顺序,而且得分越高,概率总是越高。

Softmax:每个得分的 exp,除以所有 exp 的和。Logits:输入的原始得分。

一个陷阱:给每一个得分加上同一个数什么都不会改变(它在除法中被约掉了)。试试 [1002, 1001, 1000]:在纸面上和 [2, 1, 0] 的答案相同,但在计算机上 exp(1002) 会溢出。你会在关卡中修好它。

回顾 先 exp,再除以总和。

本课中的词语和符号
softmax
每个得分的 exp 除以总和:得分变成概率
轮到你了

为一个 1D 数组编写 softmax(z)(这里用普通版本就可以),以及 shift_invariant:如果给每一个得分加上同一个数后输出不变,就把它设为 True,如果输出改变了,就设为 False。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。