Создайте движок Autograd
Вы вычислили один градиент вручную и проверили его. В реальных сетях миллионы параметров, поэтому вы не можете выводить каждый из них вручную. Трюк, который делает глубокое обучение возможным, это автоматическое дифференцирование: каждое значение помнит, как оно было вычислено, и градиенты автоматически проходят назад через эту запись. Вы собираетесь собрать движок, та же идея внутри PyTorch и micrograd Карпати, в несколько строк.
Этот юнит это Value: число, которое также хранит свой gradient и крошечную функцию, которая знает, как проталкивать gradient к его входам. Когда вы складываете или умножаете два Values, результат записывает своих родителей. Каркас ниже дает вам __init__ и backward(), который обходит граф в правильном порядке (топологическая сортировка, затем chain-rule от выхода назад). Вы реализуете два локальных gradienta, в чем заключается весь урок:
def __add__(self, other):
out = Value(self.data + other.data, (self, other))
def _backward():
self.grad += out.grad # d(a+b)/da = 1
other.grad += out.grad # d(a+b)/db = 1
out._backward = _backward
return outAddition просто копирует входящий gradient в оба входа. Multiplication это место, где кусается правило цепочки: d(a*b)/da = b и d(a*b)/db = a, каждое умножает gradient, поступающий сверху (out.grad). Заметьте +=, а не =: значение, используемое в нескольких местах, накапливает gradient от каждого.
Завершите __add__ и __mul__ так, чтобы их _backward замыкания устанавливали правильные локальные градиенты. Скрытые тесты строят выражения, вызывают .backward(), и проверяют каждый результат на градиент методом конечных разностей , поэтому неверное правило не пройдет. Нажмите Run для обратного распространения через a*b + a.
Завершите __add__ и __mul__ класса Value так, чтобы backprop был правильным. В _backward функции __add__ добавьте out.grad и в self.grad, и в other.grad (локальная производная 1). В _backward функции __mul__ добавьте other.data * out.grad к self.grad и self.data * out.grad к other.grad (правило произведения). Используйте +=, чтобы повторно используемые значения накапливали градиент. Данный backward() обрабатывает порядок.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.