Программа курса Урок 58 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Суммы, средние, reshape и транспонирование

Почему это важно Потери - это сумма или среднее, а слои постоянно делают reshape и транспонирование. Каждому нужно правило backward, и каждое правило - одна строка.

  • sum (до одного числа): каждый элемент внёс вклад с наклоном 1, поэтому каждый получает приходящий градиент. Градиент: единицы формы входа, умноженные на out.grad.
  • mean: сумма, умноженная на 1/size. Постройте её из sum и умножения, тогда ей не нужно собственное правило.
  • reshape: значения лишь переставляются, поэтому сделайте reshape градиента обратно в форму входа.
  • transpose: транспонируйте градиент обратно.

Итоги Перемещение чисел перемещает градиент назад тем же путём.

Слова и символы этого урока
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
.grad
градиент итоговых потерь по этому Tensor
unbroadcast
суммирование градиента обратно до формы, из которой его растянули
Твоя очередь

Напишите sum, mean, reshape и свойство T с их правилами backward.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.