Честное сравнение двух моделей
Почему это важно Назад к уроку 1. Вот правильный способ решить.
Обе модели отвечали на одни и те же 100 примеров. Поэтому не ставьте интервалы ошибки на каждый результат отдельно; поставьте один на разность, переотбирая примеры парами. Каждый переотбор берёт 100 примеров с возвращением и вычисляет точность B минус точность A на тех же примерах. Если 95% интервал этой разности включает 0, данные не могут различить модели.
Парное сравнение: сравнение двух моделей пример за примером на одной тестовой выборке, что сокращает то, насколько труден каждый пример.
Как честно были выбраны 100 изображений урока 1: распознаватели смоделированы, и курс выбрал выборку из 100 изображений, на которой A случайно опережает B на 4 пункта. На 2 000 случайных выборок по 100 изображений A опережала на 4 пункта или больше лишь в 8% случаев; B оказывалась впереди в половине из них, а 14% были ничьими. Это настоящий вид везения, выбранный, чтобы показать мысль: одна тестовая выборка из 100 может указать не в ту сторону.
Слова и символы этого урока
- бутстрэп
- переотбор тестовой выборки с повторами, чтобы увидеть, насколько колеблется результат
- 95% интервал
- средние 95% переотобранных результатов
- парное сравнение
- сравнение двух моделей на одних и тех же примерах, пример за примером
Напишите paired_diff_ci(a, b, n=2000, seed=0) (интервал B минус A с переотбором индексов примеров, как в уроке о бутстрэпе) и verdict(a, b), возвращающую "A", "B" или "no clear difference". Запустите её на моделях урока 1.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.