Программа курса Урок 109 из 246 · Модуль 9: Действительно ли лучше?
Модуль 9: Действительно ли лучше?

Честное сравнение двух моделей

Почему это важно Назад к уроку 1. Вот правильный способ решить.

Обе модели отвечали на одни и те же 100 примеров. Поэтому не ставьте интервалы ошибки на каждый результат отдельно; поставьте один на разность, переотбирая примеры парами. Каждый переотбор берёт 100 примеров с возвращением и вычисляет точность B минус точность A на тех же примерах. Если 95% интервал этой разности включает 0, данные не могут различить модели.

Парное сравнение: сравнение двух моделей пример за примером на одной тестовой выборке, что сокращает то, насколько труден каждый пример.

Как честно были выбраны 100 изображений урока 1: распознаватели смоделированы, и курс выбрал выборку из 100 изображений, на которой A случайно опережает B на 4 пункта. На 2 000 случайных выборок по 100 изображений A опережала на 4 пункта или больше лишь в 8% случаев; B оказывалась впереди в половине из них, а 14% были ничьими. Это настоящий вид везения, выбранный, чтобы показать мысль: одна тестовая выборка из 100 может указать не в ту сторону.

Слова и символы этого урока
бутстрэп
переотбор тестовой выборки с повторами, чтобы увидеть, насколько колеблется результат
95% интервал
средние 95% переотобранных результатов
парное сравнение
сравнение двух моделей на одних и тех же примерах, пример за примером
Твоя очередь

Напишите paired_diff_ci(a, b, n=2000, seed=0) (интервал B минус A с переотбором индексов примеров, как в уроке о бутстрэпе) и verdict(a, b), возвращающую "A", "B" или "no clear difference". Запустите её на моделях урока 1.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.