Программа курса Урок 233 из 246 · Модуль 22: Оценка утверждений
Модуль 22: Оценка утверждений

Одно правило за каждой проверкой "это настоящее?"

Почему это важно Этот курс оценивал разности как минимум четырьмя способами: парный интервал (модуль 9), "на 0,1 выше и выше на каждом seed" (модули 16 и 17) и 2 стандартные ошибки (этот модуль). Все они - одна и та же идея, и знание её позволяет выбрать нужный способ и понять, когда какой-то слишком щедр.

Каждое правило сравнивает разность с её шумом. Ответ меняют два выбора:

  • Парное или нет. Когда обе модели оцениваются на одних и тех же примерах (тестовые изображения модуля 9), сначала вычтите пример за примером: трудность каждого примера сокращается, шум уменьшается, и проявляются маленькие настоящие разности. Для двух классификаторов на одних примерах самый чистый подсчёт - просто примеры, на которых они расходятся (тест Макнемара). Seed отдельных прогонов не парные: сравнивайте две группы целиком.
  • Насколько строг порог. 2 стандартные ошибки предполагают, что вы знаете шум. При 3 seed на сторону вы оценили его по 3 числам каждый, и такая оценка легко может оказаться слишком маленькой. t-распределение Стьюдента это учитывает: порогом становится stats.t.ppf(0.975, df) стандартных ошибок, где df (число степеней свободы) берётся по формуле Уэлча, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) с va = var(a) / na. При 3 seed на сторону df от 2 до 4, а порог от 2,8 до 4,3, а не 2.

Сначала предскажите: на записанной сетке опрокидывает ли более строгий порог хоть раз "shown" по правилу 2 стандартных ошибок?

Слова и символы этого урока
seed
число, которое фиксирует случайные выборы прогона; другой seed даёт другой результат
стандартная ошибка
насколько сдвинулась бы измеренная разность, если перезапустить seed
Твоя очередь

Присвойте my_guess значение "yes" или "no". Напишите welch(a, b), возвращающую (diff, se, df) для двух списков потерь по seed (diff = mean(a) - mean(b): положительное, когда b, большая модель, лучше). Затем для каждого случая в CASES заполните result[case] словарём: 'ratio' (diff / se), 'cutoff' (порог t), 'two_se' и 't' ("shown" или "not shown" по каждому правилу). Присвойте disagree список случаев, где два правила расходятся.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.