Смещение и дисперсия, и затухание весов как априорное предположение
Почему это важно Переобучение проявляется как разрыв: ошибка на обучении намного ниже ошибки на новых данных. За каждым таким разрывом стоят две измеримые причины, и им нужны разные лекарства.
Возьмите пять свежих обучающих наборов из одного источника и подгоните к каждому модель одного вида. Посмотрите на пять предсказаний в одной точке:
- Если все согласны, но все ошибаются одинаково: высокое смещение (слишком просто).
- Если они дико расходятся друг с другом: высокая дисперсия (слишком гибко, гонится за шумом каждого набора).
Дисперсия - то, насколько меняется модель, когда меняются обучающие данные. Высокая дисперсия - обычная причина переобучения, но эти два слова не одно и то же: переобучение - разрыв, который вы видите, а дисперсия - одна из вещей, которые можно измерить за ним.
Затухание весов как априорное предположение
Затухание весов добавляет к потерям alpha * (sum of weights squared). В терминах вероятности это говорит ещё до данных: "я считаю, что маленькие веса вероятнее". Это убеждение притягивает дикие подгонки к спокойным и снижает дисперсию ценой небольшого смещения. Для подгонки многочленов у этого есть точное решение, называемое гребневой регрессией (ridge): w = solve(A.T A + alpha I, A.T y), где A хранит степени x.
Априорное предположение: то, во что вы верите насчёт весов до того, как увидели данные. Затухание весов - априорное предположение, которое благоприятствует маленьким весам.
Слова и символы этого урока
- переобучение, недообучение
- подгонка под шум в обучающих данных; или слишком простая модель, чтобы уловить закономерность
- смещение, дисперсия
- ошибаться одинаково каждый раз; или сильно меняться вместе с обучающими данными
- априорное предположение
- то, во что вы верите насчёт весов до того, как увидели данные
- ridge (alpha)
- метод наименьших квадратов с затуханием весов силы alpha
Напишите ridge_poly(x, y, deg, alpha), возвращающую коэффициенты (младшая степень первой, по формуле выше), и spread_at_half(deg, alpha): подгоните пять обучающих наборов (seed от 0 до 4, по 20 точек, созданных через make_set) и верните стандартное отклонение пяти предсказаний в x = 0,5. Затем присвойте high_variance ту из степеней 1, 3 или 12 (alpha 0), у которой разброс наибольший.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.