Программа курса Урок 104 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Обратное распространение ошибки и проверка градиента

Вы обучили игрушечную модель, сдвигая веса вниз по склону. Но откуда берутся градиенты и как вы знаете, что они верны? Этот урок отвечает на оба вопроса, и второй ответ, gradient checking, это единственная привычка, которая отличает рабочие нейросети от тихо сломанных.

Backprop это просто правило цепочки. Возьмем один пример через крошечную модель: предскажите z = w * x, затем измерьте квадрат ошибки L = (z - y)**2. Чтобы улучшить w вам нужно dL/dw. Вычислите это в два шага и умножьте:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Этот продукт это обратное распространение ошибки в миниатюре: каждый слой умножает градиент, текущий назад, на свою локальную производную. Сложите миллион таких слоев и вы получите глубокую сеть.

Теперь ваша формула верна? Проверьте ее численно. Определение производной это крошечный толчок, поэтому оцените его с помощью центральной разности и проверьте, что аналитический градиент совпадает:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

Если они не совпадают, в вашем backward pass есть баг, каждый серьезный DL код проверяет градиенты именно по этой причине.

Создайте две функции. loss(w, x, y) возвращает (w*x - y)**2. grad(w, x, y) возвращает аналитический градиент dL/dw = 2*(w*x - y)*x. Скрытые тесты проверят ваш grad с помощью градиентного анализа по сравнению с конечной разностью вашего собственного loss в разных случайных точках, поэтому неверная формула не пройдет. Нажмите Run, чтобы увидеть совпадение аналитического и числового значений.

Твоя очередь

Напишите loss(w, x, y) возвращающий squared error (w*x - y)**2, и grad(w, x, y) возвращающий его аналитический градиент относительно w, который по правилу цепочки равен 2*(w*x - y)*x. Ваш grad будет проверен на градиент по центральной конечной разности вашего собственного loss в многих случайных точках, поэтому он должен быть истинной производной, а не приближением или константой.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.