Программа курса Урок 54 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Запись графа и его упорядочивание

Почему это важно Backward должен посещать каждую коробку только после каждой коробки, которая от неё зависит. Если ошибиться в этом порядке, получатся тихо неверные градиенты.

Посмотрите

Представьте x, использованный дважды: a = x * 2, b = x * 3, L = a + b. Это ромб. Идя назад от L, мы должны закончить и с a, и с b, прежде чем заняться x, потому что градиент x - сумма того, что возвращается через оба.

Решение - перечислить узлы в топологическом порядке: каждый узел после всех своих родителей. Тогда backward проходит этот список в обратном порядке. Список строит поиск в глубину: сначала посетить родителей узла, затем добавить узел, а уже виденные узлы пропускать.

Топологический порядок: упорядочение графа, при котором каждый узел идёт после узлов, от которых зависит.

Слова и символы этого урока
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
топологический порядок
каждый узел перечислен после узлов, от которых зависит
.grad
градиент итоговых потерь по этому Tensor
unbroadcast
суммирование градиента обратно до формы, из которой его растянули
Твоя очередь

Напишите метод topo: верните каждый узел, от которого зависит self (включая его самого), каждый после всех своих родителей, без повторов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.