Одно правило за каждой проверкой "это настоящее?"
Почему это важно Этот курс оценивал разности как минимум четырьмя способами: парный интервал (модуль 9), "на 0,1 выше и выше на каждом seed" (модули 16 и 17) и 2 стандартные ошибки (этот модуль). Все они - одна и та же идея, и знание её позволяет выбрать нужный способ и понять, когда какой-то слишком щедр.
Каждое правило сравнивает разность с её шумом. Ответ меняют два выбора:
- Парное или нет. Когда обе модели оцениваются на одних и тех же примерах (тестовые изображения модуля 9), сначала вычтите пример за примером: трудность каждого примера сокращается, шум уменьшается, и проявляются маленькие настоящие разности. Для двух классификаторов на одних примерах самый чистый подсчёт - просто примеры, на которых они расходятся (тест Макнемара). Seed отдельных прогонов не парные: сравнивайте две группы целиком.
- Насколько строг порог. 2 стандартные ошибки предполагают, что вы знаете шум. При 3 seed на сторону вы оценили его по 3 числам каждый, и такая оценка легко может оказаться слишком маленькой. t-распределение Стьюдента это учитывает: порогом становится
stats.t.ppf(0.975, df)стандартных ошибок, где df (число степеней свободы) берётся по формуле Уэлча,df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1))сva = var(a) / na. При 3 seed на сторону df от 2 до 4, а порог от 2,8 до 4,3, а не 2.
Сначала предскажите: на записанной сетке опрокидывает ли более строгий порог хоть раз "shown" по правилу 2 стандартных ошибок?
Слова и символы этого урока
- seed
- число, которое фиксирует случайные выборы прогона; другой seed даёт другой результат
- стандартная ошибка
- насколько сдвинулась бы измеренная разность, если перезапустить seed
Присвойте my_guess значение "yes" или "no". Напишите welch(a, b), возвращающую (diff, se, df) для двух списков потерь по seed (diff = mean(a) - mean(b): положительное, когда b, большая модель, лучше). Затем для каждого случая в CASES заполните result[case] словарём: 'ratio' (diff / se), 'cutoff' (порог t), 'two_se' и 't' ("shown" или "not shown" по каждому правилу). Присвойте disagree список случаев, где два правила расходятся.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.