Значит ли "уверена на 80%" "права в 80% случаев"?
Почему это важно Уверенность модели полезна, только если она честна. Помощник врача, который говорит "уверен на 90%" и прав в половине случаев, опасен.
Модель откалибрована, если среди всех предсказаний, которые она делает примерно с 80% уверенности, примерно 80% верны. Чтобы проверить: разложите предсказания по корзинам уверенности (от 0 до 0,1, от 0,1 до 0,2 и так далее); в каждой корзине сравните среднюю уверенность с фактической точностью. График одного против другого - это диаграмма надёжности; идеальная калибровка - диагональ.
Ожидаемая ошибка калибровки (ECE) суммирует разрыв в каждой корзине, взвешенный тем, сколько предсказаний в неё попало: sum over bins of (count / total) * |accuracy - confidence|.
Маленькие числа
Четыре предсказания с уверенностью 0,9, из которых 2 верны: разрыв этой корзины |0,5 - 0,9| = 0,4. Если это все предсказания, ECE = 0,4.
Слова и символы этого урока
- калибровка, ECE
- совпадает ли уверенность с точностью; взвешенный средний разрыв
Напишите ece(confidence, correct, bins=10) с корзинами равной ширины от 0 до 1 (уверенность ровно 1.0 попадает в верхнюю корзину; пустые корзины пропускайте).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.