Контрольная задача: закройте разрыв без недообучения (ИИ выключен)
Почему это важно Закрыть разрыв между обучением и валидацией легко, если разрешено сделать модель бесполезной. Сделать это, сохранив модель хорошей, - настоящий навык. Уже знаете этот модуль? Можете сделать эту контрольную задачу первой, до других уроков: если пройдёте, модуль отмечается выполненным и открывается следующий.
ИИ-наставник выключен. Многочлен степени 14 на 25 точках сильно переобучается. Нужно оставить степень 14 и использовать затухание весов (ridge, из урока о смещении и дисперсии), выбирая его силу по валидационной выборке.
Поскольку вы выбираете alpha, глядя на валидационную выборку, валидационная ошибка теперь немного льстит. Поэтому контрольная задача оценивает вас на отдельной тестовой выборке из 2 000 свежих точек, которых ваш код никогда не видит. Это честный способ сообщать о модели, которую вы настраивали.
Слова и символы этого урока
- переобучение, недообучение
- подгонка под шум в обучающих данных; или слишком простая модель, чтобы уловить закономерность
- валидационная выборка
- отложенные данные, используемые для выбора настроек
- смещение, дисперсия
- ошибаться одинаково каждый раз; или сильно меняться вместе с обучающими данными
- ridge (alpha)
- метод наименьших квадратов с затуханием весов силы alpha
Напишите fit(x, y), возвращающую коэффициенты (младшая степень первой) многочлена степени 14. Это должно быть решение ridge, solve(A.T A + alpha I, A.T y) при некотором alpha больше 0 (тест это проверяет, поэтому многочлен меньшей степени, дополненный нулями, не засчитывается). Задача пройдена, если ошибка на скрытой тестовой выборке ниже 0,045, а разрыв (тест минус обучение) ниже 0,05. Для масштаба: обычный метод наименьших квадратов даёт ошибку на тесте около 0,73, лучшее возможное alpha - около 0,034, а alpha, честно выбранное по валидационной выборке на любой разумной сетке, например степенях 10, - около 0,034-0,039. Плоская, пережатая подгонка не проходит предел 0,045.
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Ваш прогресс учитывается анонимно. Измените это
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.