Backward, когда формы растягиваются (broadcasting)
Почему это важно Это самый частый баг autograd в мире. Смещение формы (4,), прибавленное к батчу формы (32, 4), используется 32 раза, поэтому его градиент должен сложить все 32 вклада.
Маленькие числа
out = X + b, где X - (3, 2), а b - (2,). Приходящий градиент - (3, 2). b был скопирован во все 3 строки, поэтому каждая копия получила долю: градиент b - сумма по строкам, форма (2,). Если вернуть массив (3, 2), формы больше не совпадут, или хуже того, broadcasting это скроет, и числа будут втрое неверными.
Правило: где broadcasting добавил направление, просуммируйте его прочь; где он растянул направление размера 1, просуммируйте его, но оставьте размером 1.
Итоги Скопировано вперёд - значит просуммировано назад.
Слова и символы этого урока
- autograd
- автоматические градиенты: вы пишете прямой проход, движок делает обратный
- Tensor
- здесь: массив плюс его градиент плюс Tensor, из которых он получен
- .grad
- градиент итоговых потерь по этому Tensor
- unbroadcast
- суммирование градиента обратно до формы, из которой его растянули
Напишите unbroadcast(grad, shape): просуммируйте grad до shape. Ваши сложение и умножение уже её вызывают.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.