Программа курса Урок 46 из 246 · Модуль 3: От нейрона к MLP
Модуль 3: От нейрона к MLP

Проверка градиента, которой вы будете пользоваться весь курс

Почему это важно Неверный градиент не вызывает падения. Обучение просто тихо идёт плохо. Проверка градиента ловит ошибку за секунды, и этой вы будете пользоваться в каждом модуле.

Идея - подталкивание из модуля 2, выполненное для каждого веса: подтолкните вес i вверх и вниз на h, измерьте потери оба раза и разделите разность на 2h. Сравните с градиентом по вашей формуле.

Насколько близко - это близко?

Используйте относительную ошибку: |a - b|, делённое на большее из |a| и |b| (или на 1e-8, если оба крошечные). Ниже 1e-6 - проходит; выше 1e-3 почти всегда значит баг.

Проверка градиента: сравнение аналитического градиента (по вашей формуле) с численным (по подталкиванию).

Итоги Медленный, но надёжный судья. Используйте его, прежде чем доверять любому новому градиенту.

Слова и символы этого урока
скорость обучения (lr)
насколько велик каждый шаг обучения
проверка градиента
сравнение вашей формулы градиента с оценкой "подтолкнуть и измерить"
Твоя очередь

Напишите numeric_grad(f, w, h=1e-5) (w - массив NumPy любой формы; верните массив той же формы) и grad_check(f, grad, w), возвращающую наибольшую относительную ошибку. Здесь f(w) берёт массив весов и возвращает потери одним числом, а grad - массив (градиент по вашей формуле в w, уже вычисленный), а не функция. Не меняйте w навсегда. Чтобы обойти каждую позицию массива любой формы, for idx in np.ndindex(w.shape): выдаёт по очереди каждый кортеж индексов. Скрытый тест подаёт вашей проверке три слегка неверных градиента; каждый должен получить больше 1e-3.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.