Backward для сложения и умножения
Почему это важно С этими двумя правилами и упорядочиванием ваш движок уже может дифференцировать любую формулу из сумм и произведений.
Каждая операция прикрепляет к создаваемому Tensor маленькую функцию _backward. При вызове она читает out.grad и прибавляет свою долю к grad каждого родителя:
- Для
out = a + b: a получаетout.grad, b получаетout.grad. - Для
out = a * b: a получаетout.grad * b.data, b получаетout.grad * a.data.
Всегда прибавляйте к grad родителя (в стиле +=), никогда не перезаписывайте: узел, использованный дважды, должен собрать оба вклада. Затем backward() присваивает grad итогового узла 1 и вызывает каждую _backward в обратном топологическом порядке.
(Данный помощник unbroadcast, импортированный вверху, справляется с формами, растянутыми broadcasting. Свою версию вы напишете через два урока; пока оборачивайте в него каждый вклад.)
Слова и символы этого урока
- Tensor
- здесь: массив плюс его градиент плюс Tensor, из которых он получен
- топологический порядок
- каждый узел перечислен после узлов, от которых зависит
- .grad
- градиент итоговых потерь по этому Tensor
- unbroadcast
- суммирование градиента обратно до формы, из которой его растянули
Заполните две функции _backward и метод backward. Скрытый тест проверяет градиенты формул, смешивающих + и *, включая узел, использованный дважды.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.