课程大纲 第 107 课,共 246 课 · 第 9 模块:它真的更好吗?
第 9 模块:它真的更好吗?

80% 的把握意味着 80% 的时候是对的吗?

为什么重要 只有当一个模型的信心是诚实的时候,它才有用。一个说“90% 有把握”却只有一半时候是对的医生助手是危险的。

如果在一个模型以大约 80% 的信心做出的所有预测中,大约 80% 是对的,那么这个模型就是校准良好的。检查的方法是:按信心把预测分进各个区间(0 到 0.1、0.1 到 0.2,以此类推);在每个区间中,把平均信心和实际准确率做比较。把一个对着另一个画出来,就是一张可靠性图;完美的校准就是那条对角线。

期望校准误差(ECE)把每个区间中的差距加起来,并按落在其中的预测数量加权:sum over bins of (count / total) * |accuracy - confidence|。

很小的数字

四个信心为 0.9 的预测,其中 2 个是对的:那个区间的差距是 |0.5 - 0.9| = 0.4。如果它们就是全部的预测,ECE = 0.4。

本课中的词语和符号
校准、ECE
信心是否和准确率相符;加权的平均差距
轮到你了

编写 ece(confidence, correct, bins=10),使用从 0 到 1 的等宽区间(信心恰好为 1.0 的放进最高的那个区间;跳过空区间)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。