Программа курса Урок 86 из 246 · Модуль 7: Работа на новых данных
Модуль 7: Работа на новых данных

Слишком просто, слишком сложно, измерено

Почему это важно Модель полезна только на данных, которых она не видела. Измерять именно это, а не результат на обучении, - первая привычка любого, кто строит модели.

Подгоните многочлены растущей степени к 30 зашумлённым точкам с гладкой кривой. Степень 1 - прямая: слишком просто, она пропускает изгиб (недообучение). Степень 15 изгибается, следуя шуму в этих конкретных 30 точках: её ошибка на обучении самая низкая из всех (0,014), но на новых точках она хуже степени 3 (0,075 против 0,051). Этот разрыв, ошибка на обучении намного ниже ошибки на новых данных, - это переобучение. Где-то между ними лучшая точка.

Ошибка на обучении только падает с ростом степени, поэтому не может найти лучшую точку. Валидационная ошибка, на точках, которых подгонка никогда не видела, может.

Валидационная выборка: данные, отложенные от обучения и используемые для выбора настроек, таких как размер модели.

Слова и символы этого урока
переобучение, недообучение
подгонка под шум в обучающих данных; или слишком простая модель, чтобы уловить закономерность
валидационная выборка
отложенные данные, используемые для выбора настроек
Твоя очередь

Напишите errors(deg), возвращающую (train_mse, val_mse) для многочлена степени deg, подогнанного через np.polyfit на 30 точках. Затем присвойте best_degree степень от 1 до 15 с наименьшей валидационной ошибкой, вычисленную по вашей собственной кривой.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.