Суммы, средние, reshape и транспонирование
Почему это важно Потери - это сумма или среднее, а слои постоянно делают reshape и транспонирование. Каждому нужно правило backward, и каждое правило - одна строка.
- sum (до одного числа): каждый элемент внёс вклад с наклоном 1, поэтому каждый получает приходящий градиент. Градиент: единицы формы входа, умноженные на out.grad.
- mean: сумма, умноженная на 1/size. Постройте её из sum и умножения, тогда ей не нужно собственное правило.
- reshape: значения лишь переставляются, поэтому сделайте reshape градиента обратно в форму входа.
- transpose: транспонируйте градиент обратно.
Итоги Перемещение чисел перемещает градиент назад тем же путём.
Слова и символы этого урока
- Tensor
- здесь: массив плюс его градиент плюс Tensor, из которых он получен
- .grad
- градиент итоговых потерь по этому Tensor
- unbroadcast
- суммирование градиента обратно до формы, из которой его растянули
Напишите sum, mean, reshape и свойство T с их правилами backward.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.