Программа курса Урок 87 из 246 · Модуль 7: Работа на новых данных
Модуль 7: Работа на новых данных

Смещение и дисперсия, и затухание весов как априорное предположение

Почему это важно Переобучение проявляется как разрыв: ошибка на обучении намного ниже ошибки на новых данных. За каждым таким разрывом стоят две измеримые причины, и им нужны разные лекарства.

Возьмите пять свежих обучающих наборов из одного источника и подгоните к каждому модель одного вида. Посмотрите на пять предсказаний в одной точке:

  • Если все согласны, но все ошибаются одинаково: высокое смещение (слишком просто).
  • Если они дико расходятся друг с другом: высокая дисперсия (слишком гибко, гонится за шумом каждого набора).

Дисперсия - то, насколько меняется модель, когда меняются обучающие данные. Высокая дисперсия - обычная причина переобучения, но эти два слова не одно и то же: переобучение - разрыв, который вы видите, а дисперсия - одна из вещей, которые можно измерить за ним.

Затухание весов как априорное предположение

Затухание весов добавляет к потерям alpha * (sum of weights squared). В терминах вероятности это говорит ещё до данных: "я считаю, что маленькие веса вероятнее". Это убеждение притягивает дикие подгонки к спокойным и снижает дисперсию ценой небольшого смещения. Для подгонки многочленов у этого есть точное решение, называемое гребневой регрессией (ridge): w = solve(A.T A + alpha I, A.T y), где A хранит степени x.

Априорное предположение: то, во что вы верите насчёт весов до того, как увидели данные. Затухание весов - априорное предположение, которое благоприятствует маленьким весам.

Слова и символы этого урока
переобучение, недообучение
подгонка под шум в обучающих данных; или слишком простая модель, чтобы уловить закономерность
смещение, дисперсия
ошибаться одинаково каждый раз; или сильно меняться вместе с обучающими данными
априорное предположение
то, во что вы верите насчёт весов до того, как увидели данные
ridge (alpha)
метод наименьших квадратов с затуханием весов силы alpha
Твоя очередь

Напишите ridge_poly(x, y, deg, alpha), возвращающую коэффициенты (младшая степень первой, по формуле выше), и spread_at_half(deg, alpha): подгоните пять обучающих наборов (seed от 0 до 4, по 20 точек, созданных через make_set) и верните стандартное отклонение пяти предсказаний в x = 0,5. Затем присвойте high_variance ту из степеней 1, 3 или 12 (alpha 0), у которой разброс наибольший.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.