第 9 模块:它真的更好吗?
80% 的把握意味着 80% 的时候是对的吗?
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 只有当一个模型的信心是诚实的时候,它才有用。一个说“90% 有把握”却只有一半时候是对的医生助手是危险的。
如果在一个模型以大约 80% 的信心做出的所有预测中,大约 80% 是对的,那么这个模型就是校准良好的。检查的方法是:按信心把预测分进各个区间(0 到 0.1、0.1 到 0.2,以此类推);在每个区间中,把平均信心和实际准确率做比较。把一个对着另一个画出来,就是一张可靠性图;完美的校准就是那条对角线。
期望校准误差(ECE)把每个区间中的差距加起来,并按落在其中的预测数量加权:sum over bins of (count / total) * |accuracy - confidence|。
很小的数字
四个信心为 0.9 的预测,其中 2 个是对的:那个区间的差距是 |0.5 - 0.9| = 0.4。如果它们就是全部的预测,ECE = 0.4。
本课中的词语和符号
- 校准、ECE
- 信心是否和准确率相符;加权的平均差距
轮到你了
编写 ece(confidence, correct, bins=10),使用从 0 到 1 的等宽区间(信心恰好为 1.0 的放进最高的那个区间;跳过空区间)。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。