Запись графа и его упорядочивание
Почему это важно Backward должен посещать каждую коробку только после каждой коробки, которая от неё зависит. Если ошибиться в этом порядке, получатся тихо неверные градиенты.
Посмотрите
Представьте x, использованный дважды: a = x * 2, b = x * 3, L = a + b. Это ромб. Идя назад от L, мы должны закончить и с a, и с b, прежде чем заняться x, потому что градиент x - сумма того, что возвращается через оба.
Решение - перечислить узлы в топологическом порядке: каждый узел после всех своих родителей. Тогда backward проходит этот список в обратном порядке. Список строит поиск в глубину: сначала посетить родителей узла, затем добавить узел, а уже виденные узлы пропускать.
Топологический порядок: упорядочение графа, при котором каждый узел идёт после узлов, от которых зависит.
Слова и символы этого урока
- Tensor
- здесь: массив плюс его градиент плюс Tensor, из которых он получен
- топологический порядок
- каждый узел перечислен после узлов, от которых зависит
- .grad
- градиент итоговых потерь по этому Tensor
- unbroadcast
- суммирование градиента обратно до формы, из которой его растянули
Напишите метод topo: верните каждый узел, от которого зависит self (включая его самого), каждый после всех своих родителей, без повторов.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.