Контрольная задача: проверьте утверждение (ИИ выключен)
Почему это важно Критическое чтение результатов - навык, который вы будете применять к каждой статье, карточке модели и таблице бенчмарка. Правила просты; навык - применять их каждый раз, без подсказки, какое из них важно.
Правила контрольной задачи: ИИ-наставник выключен. Напишите review(claim). Утверждение говорит "модель A обгоняет модель B" и идёт вместе с потерями каждого seed каждой модели и долей тестовой выборки, найденной в обучающих данных. По порядку:
- Если больше 10% тестовой выборки было в обучающих данных, верните "leaked": никакому результату на ней нельзя доверять.
- Если у любой модели меньше 2 seed, верните "not shown": разброс неизвестен.
- Пусть diff = mean(B) - mean(A) (положительное, когда A лучше) и se = sqrt(var(A) / nA + var(B) / nB), выборочные дисперсии (
ddof=1). Верните "shown", если diff > 2 se, "contradicted", если diff < -2 se, иначе "not shown".
Проверка запускает вашу функцию на шести новых утверждениях, разных при каждой проверке, включая граничные случаи: один seed, ровно 10% пересечения, seed, которые совпадают в точности.
Слова и символы этого урока
- загрязнение (утечка)
- тестовые примеры, которые были и в обучающих данных
- seed
- число, которое фиксирует случайные выборы прогона; другой seed даёт другой результат
Заполните review. Попробуйте её на {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (записанные ширины 1024 и 512 при 1,5 миллиона токенов).
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.