Программа курса Урок 235 из 246 · Модуль 22: Оценка утверждений
Модуль 22: Оценка утверждений

Контрольная задача: проверьте утверждение (ИИ выключен)

Почему это важно Критическое чтение результатов - навык, который вы будете применять к каждой статье, карточке модели и таблице бенчмарка. Правила просты; навык - применять их каждый раз, без подсказки, какое из них важно.

Правила контрольной задачи: ИИ-наставник выключен. Напишите review(claim). Утверждение говорит "модель A обгоняет модель B" и идёт вместе с потерями каждого seed каждой модели и долей тестовой выборки, найденной в обучающих данных. По порядку:

  1. Если больше 10% тестовой выборки было в обучающих данных, верните "leaked": никакому результату на ней нельзя доверять.
  2. Если у любой модели меньше 2 seed, верните "not shown": разброс неизвестен.
  3. Пусть diff = mean(B) - mean(A) (положительное, когда A лучше) и se = sqrt(var(A) / nA + var(B) / nB), выборочные дисперсии (ddof=1). Верните "shown", если diff > 2 se, "contradicted", если diff < -2 se, иначе "not shown".

Проверка запускает вашу функцию на шести новых утверждениях, разных при каждой проверке, включая граничные случаи: один seed, ровно 10% пересечения, seed, которые совпадают в точности.

Слова и символы этого урока
загрязнение (утечка)
тестовые примеры, которые были и в обучающих данных
seed
число, которое фиксирует случайные выборы прогона; другой seed даёт другой результат
Твоя очередь

Заполните review. Попробуйте её на {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (записанные ширины 1024 и 512 при 1,5 миллиона токенов).

ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.