Программа курса Урок 57 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Backward, когда формы растягиваются (broadcasting)

Почему это важно Это самый частый баг autograd в мире. Смещение формы (4,), прибавленное к батчу формы (32, 4), используется 32 раза, поэтому его градиент должен сложить все 32 вклада.

Маленькие числа

out = X + b, где X - (3, 2), а b - (2,). Приходящий градиент - (3, 2). b был скопирован во все 3 строки, поэтому каждая копия получила долю: градиент b - сумма по строкам, форма (2,). Если вернуть массив (3, 2), формы больше не совпадут, или хуже того, broadcasting это скроет, и числа будут втрое неверными.

Правило: где broadcasting добавил направление, просуммируйте его прочь; где он растянул направление размера 1, просуммируйте его, но оставьте размером 1.

Итоги Скопировано вперёд - значит просуммировано назад.

Слова и символы этого урока
autograd
автоматические градиенты: вы пишете прямой проход, движок делает обратный
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
.grad
градиент итоговых потерь по этому Tensor
unbroadcast
суммирование градиента обратно до формы, из которой его растянули
Твоя очередь

Напишите unbroadcast(grad, shape): просуммируйте grad до shape. Ваши сложение и умножение уже её вызывают.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.