Проверка градиента, которой вы будете пользоваться весь курс
Почему это важно Неверный градиент не вызывает падения. Обучение просто тихо идёт плохо. Проверка градиента ловит ошибку за секунды, и этой вы будете пользоваться в каждом модуле.
Идея - подталкивание из модуля 2, выполненное для каждого веса: подтолкните вес i вверх и вниз на h, измерьте потери оба раза и разделите разность на 2h. Сравните с градиентом по вашей формуле.
Насколько близко - это близко?
Используйте относительную ошибку: |a - b|, делённое на большее из |a| и |b| (или на 1e-8, если оба крошечные). Ниже 1e-6 - проходит; выше 1e-3 почти всегда значит баг.
Проверка градиента: сравнение аналитического градиента (по вашей формуле) с численным (по подталкиванию).
Итоги Медленный, но надёжный судья. Используйте его, прежде чем доверять любому новому градиенту.
Слова и символы этого урока
- скорость обучения (lr)
- насколько велик каждый шаг обучения
- проверка градиента
- сравнение вашей формулы градиента с оценкой "подтолкнуть и измерить"
Напишите numeric_grad(f, w, h=1e-5) (w - массив NumPy любой формы; верните массив той же формы) и grad_check(f, grad, w), возвращающую наибольшую относительную ошибку. Здесь f(w) берёт массив весов и возвращает потери одним числом, а grad - массив (градиент по вашей формуле в w, уже вычисленный), а не функция. Не меняйте w навсегда. Чтобы обойти каждую позицию массива любой формы, for idx in np.ndindex(w.shape): выдаёт по очереди каждый кортеж индексов. Скрытый тест подаёт вашей проверке три слегка неверных градиента; каждый должен получить больше 1e-3.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.