Программа курса Урок 91 из 246 · Модуль 7: Работа на новых данных
Модуль 7: Работа на новых данных

Двойной спуск

Почему это важно Правило из учебника "больше параметров - больше переобучения" ломается для больших моделей. Понимание почему меняет то, как вы думаете о размере модели.

Посмотрите

Запустите анимацию. Мы подгоняем 40 обучающих точек, используя только первые p из 400 доступных признаков и выбирая среди точных подгонок ту, у которой наименьшие веса. По мере роста p к числу обучающих точек (40) ошибка на тесте растёт, сначала медленно, потом круто, до пика ровно там, где они равны. Там у модели ровно достаточно свободы, чтобы попасть в каждую обучающую точку, и лишь один способ это сделать, обычно дикий. За пиком точных подгонок много, и выбор той, что с наименьшими весами, - мягкая подгонка: ошибка на тесте снова падает, а при достаточном числе признаков заканчивается ниже, чем у маленьких моделей.

Порог интерполяции: размер модели, при котором она может ровно точно подогнать обучающие данные. Двойной спуск даёт пик именно там.

Угадайте кривую: предскажите число признаков с наибольшей ошибкой на тесте и то, обгоняет ли p = 400 значение p = 5.

Читайте числа честно

Эта игрушка построена, чтобы показать форму кривой, а не чтобы хорошо предсказывать. Её сигнал тонко размазан по всем 400 признакам, а обучающих точек всего 40, поэтому каждая модель здесь слабая: предсказание 0 для всего даёт медианную ошибку на тесте около 1,01, p = 5 даёт около 1,11, а p = 400 около 0,91. Пик при p = 40 - около 36. Второй спуск настоящий, но приземляется лишь чуть ниже "ничего не предсказывать".

У пика также есть лекарство, которое вы уже знаете. Затухание весов (ridge) с силой, выбранной на валидационных данных, вместо точной подгонки с наименьшими весами держит ошибку около 1,0 при любом размере, включая p = 40 (около 1,02). Двойной спуск - то, что происходит с точными подгонками; настроенный регуляризатор убирает всплеск.

Слова и символы этого урока
переобучение, недообучение
подгонка под шум в обучающих данных; или слишком простая модель, чтобы уловить закономерность
ridge (alpha)
метод наименьших квадратов с затуханием весов силы alpha
порог интерполяции
размер модели, который может ровно точно подогнать обучающие данные
Твоя очередь

Заполните my_peak и my_400_beats_5. Затем напишите test_error(p): для seed от 0 до 19 подгоните через np.linalg.pinv(X[:, :p]) @ y, измерьте среднеквадратичную ошибку на тесте и верните медиану по seed.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.