Программа курса Урок 107 из 246 · Модуль 9: Действительно ли лучше?
Модуль 9: Действительно ли лучше?

Значит ли "уверена на 80%" "права в 80% случаев"?

Почему это важно Уверенность модели полезна, только если она честна. Помощник врача, который говорит "уверен на 90%" и прав в половине случаев, опасен.

Модель откалибрована, если среди всех предсказаний, которые она делает примерно с 80% уверенности, примерно 80% верны. Чтобы проверить: разложите предсказания по корзинам уверенности (от 0 до 0,1, от 0,1 до 0,2 и так далее); в каждой корзине сравните среднюю уверенность с фактической точностью. График одного против другого - это диаграмма надёжности; идеальная калибровка - диагональ.

Ожидаемая ошибка калибровки (ECE) суммирует разрыв в каждой корзине, взвешенный тем, сколько предсказаний в неё попало: sum over bins of (count / total) * |accuracy - confidence|.

Маленькие числа

Четыре предсказания с уверенностью 0,9, из которых 2 верны: разрыв этой корзины |0,5 - 0,9| = 0,4. Если это все предсказания, ECE = 0,4.

Слова и символы этого урока
калибровка, ECE
совпадает ли уверенность с точностью; взвешенный средний разрыв
Твоя очередь

Напишите ece(confidence, correct, bins=10) с корзинами равной ширины от 0 до 1 (уверенность ровно 1.0 попадает в верхнюю корзину; пустые корзины пропускайте).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.