Программа курса Урок 103 из 246 · Модуль 9: Действительно ли лучше?
Модуль 9: Действительно ли лучше?

Разбиения и утечка

Почему это важно Если хоть какая-то информация из тестовых данных доходит до обучения, результат на тесте больше не тест. Это самый частый способ, которым честные люди публикуют неверные числа.

Правило: тестовая выборка не должна участвовать ни в одном решении, включая предобработку. Три способа, которыми она пробирается:

  • Масштабирование по всем данным. Вычисление среднего и разброса по каждой строке, включая тестовые, позволяет тестовым значениям влиять на обучающие входы. Немного, но реально.
  • Выбор признаков по всем меткам. Выбор признаков, сильнее всего коррелирующих с меткой, с использованием и тестовых меток, может заставить чистый шум выглядеть предсказательным. Это может быть огромным.
  • Дубликаты по обе стороны разбиения. Один и тот же пример в обоих наборах: модель проверяют на том, что она запомнила.

Утечка: тестовая информация, доходящая до процесса обучения и заставляющая результаты выглядеть лучше, чем они есть.

Твоя очередь

Присвойте leaky словарь, говорящий, какие из трёх конвейеров протекают. Затем напишите pipeline_3_fixed(X, y): та же идея, но 5 признаков выбираются только по первым 200 строкам.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.