Программа курса Урок 87 из 250 · Ваши первые модели машинного обучения
Ваши первые модели машинного обучения

Разделение на обучающую и тестовую выборки: Честное измерение

Вот самая важная привычка в машинном обучении. Если вы обучаете модель и затем тестируете ее на тех же данных, вы не узнаете ничего полезного. Модель может получить идеальный балл, просто запомнив ответы, которые она уже видела. Это как оценивать студента по тем самым вопросам, которые он учил: это измеряет память, а не понимание.

Решение состоит в том, чтобы оставить часть данных в стороне. Вы train на большей части из них, а затем test на строках, которые модель никогда не видела. Результаты теста это ваша честная оценка того, как она будет работать на реальных данных в будущем.

scikit-learn дает вам одну функцию для этого:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=0
)

Оно возвращает четыре части, всегда в таком порядке: train features, test features, train labels, test labels. Важны два аргумента:

  • test_size=0.2 выделяет 20 процентов для тестирования и оставляет 80 процентов для обучения.
  • random_state=0 фиксирует перемешивание, чтобы вы получали одинаковый same при каждом запуске. Без него разделение будет случайным каждый раз, и ваши результаты будут колебаться и их нельзя будет проверить. На всем этом курсе всегда передавайте random_state=0.

С этого момента строгое правило: вы можете обучаться на обучающей выборке, но вы должны только grade на тестовой выборке. Никогда не сообщайте оценку из данных, на которых обучалась модель.

Твоя очередь

Даны массивы X (10 строк, 2 столбца) и y (10 меток). Используйте train_test_split с test_size=0.2 и random_state=0, чтобы получить X_train, X_test, y_train, y_test. Затем установите n_train как количество строк обучения и n_test как количество строк теста.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.