Обратное распространение ошибки и проверка градиента
Вы обучили игрушечную модель, сдвигая веса вниз по склону. Но откуда берутся градиенты и как вы знаете, что они верны? Этот урок отвечает на оба вопроса, и второй ответ, gradient checking, это единственная привычка, которая отличает рабочие нейросети от тихо сломанных.
Backprop это просто правило цепочки. Возьмем один пример через крошечную модель: предскажите z = w * x, затем измерьте квадрат ошибки L = (z - y)**2. Чтобы улучшить w вам нужно dL/dw. Вычислите это в два шага и умножьте:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xЭтот продукт это обратное распространение ошибки в миниатюре: каждый слой умножает градиент, текущий назад, на свою локальную производную. Сложите миллион таких слоев и вы получите глубокую сеть.
Теперь ваша формула верна? Проверьте ее численно. Определение производной это крошечный толчок, поэтому оцените его с помощью центральной разности и проверьте, что аналитический градиент совпадает:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsЕсли они не совпадают, в вашем backward pass есть баг, каждый серьезный DL код проверяет градиенты именно по этой причине.
Создайте две функции. loss(w, x, y) возвращает (w*x - y)**2. grad(w, x, y) возвращает аналитический градиент dL/dw = 2*(w*x - y)*x. Скрытые тесты проверят ваш grad с помощью градиентного анализа по сравнению с конечной разностью вашего собственного loss в разных случайных точках, поэтому неверная формула не пройдет. Нажмите Run, чтобы увидеть совпадение аналитического и числового значений.
Напишите loss(w, x, y) возвращающий squared error (w*x - y)**2, и grad(w, x, y) возвращающий его аналитический градиент относительно w, который по правилу цепочки равен 2*(w*x - y)*x. Ваш grad будет проверен на градиент по центральной конечной разности вашего собственного loss в многих случайных точках, поэтому он должен быть истинной производной, а не приближением или константой.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.