Программа курса Урок 55 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Backward для сложения и умножения

Почему это важно С этими двумя правилами и упорядочиванием ваш движок уже может дифференцировать любую формулу из сумм и произведений.

Каждая операция прикрепляет к создаваемому Tensor маленькую функцию _backward. При вызове она читает out.grad и прибавляет свою долю к grad каждого родителя:

  • Для out = a + b: a получает out.grad, b получает out.grad.
  • Для out = a * b: a получает out.grad * b.data, b получает out.grad * a.data.

Всегда прибавляйте к grad родителя (в стиле +=), никогда не перезаписывайте: узел, использованный дважды, должен собрать оба вклада. Затем backward() присваивает grad итогового узла 1 и вызывает каждую _backward в обратном топологическом порядке.

(Данный помощник unbroadcast, импортированный вверху, справляется с формами, растянутыми broadcasting. Свою версию вы напишете через два урока; пока оборачивайте в него каждый вклад.)

Слова и символы этого урока
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
топологический порядок
каждый узел перечислен после узлов, от которых зависит
.grad
градиент итоговых потерь по этому Tensor
unbroadcast
суммирование градиента обратно до формы, из которой его растянули
Твоя очередь

Заполните две функции _backward и метод backward. Скрытый тест проверяет градиенты формул, смешивающих + и *, включая узел, использованный дважды.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.