Программа курса Урок 105 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Создайте движок Autograd

Вы вычислили один градиент вручную и проверили его. В реальных сетях миллионы параметров, поэтому вы не можете выводить каждый из них вручную. Трюк, который делает глубокое обучение возможным, это автоматическое дифференцирование: каждое значение помнит, как оно было вычислено, и градиенты автоматически проходят назад через эту запись. Вы собираетесь собрать движок, та же идея внутри PyTorch и micrograd Карпати, в несколько строк.

Этот юнит это Value: число, которое также хранит свой gradient и крошечную функцию, которая знает, как проталкивать gradient к его входам. Когда вы складываете или умножаете два Values, результат записывает своих родителей. Каркас ниже дает вам __init__ и backward(), который обходит граф в правильном порядке (топологическая сортировка, затем chain-rule от выхода назад). Вы реализуете два локальных gradienta, в чем заключается весь урок:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

Addition просто копирует входящий gradient в оба входа. Multiplication это место, где кусается правило цепочки: d(a*b)/da = b и d(a*b)/db = a, каждое умножает gradient, поступающий сверху (out.grad). Заметьте +=, а не =: значение, используемое в нескольких местах, накапливает gradient от каждого.

Завершите __add__ и __mul__ так, чтобы их _backward замыкания устанавливали правильные локальные градиенты. Скрытые тесты строят выражения, вызывают .backward(), и проверяют каждый результат на градиент методом конечных разностей , поэтому неверное правило не пройдет. Нажмите Run для обратного распространения через a*b + a.

Твоя очередь

Завершите __add__ и __mul__ класса Value так, чтобы backprop был правильным. В _backward функции __add__ добавьте out.grad и в self.grad, и в other.grad (локальная производная 1). В _backward функции __mul__ добавьте other.data * out.grad к self.grad и self.data * out.grad к other.grad (правило произведения). Используйте +=, чтобы повторно используемые значения накапливали градиент. Данный backward() обрабатывает порядок.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.