Backward для умножения матриц
Почему это важно Умножение матриц - рабочая лошадка каждого слоя. Его правило backward - две строки, и вывести его можно по одним формам.
Маленькие числа
Возьмите out = A @ B, где A формы (2, 3), а B формы (3, 4), так что out - (2, 4). Приходящий градиент G имеет форму out (2, 4). Градиент A должен иметь форму A (2, 3). Единственный способ получить (2, 3) из G (2, 4) и B (3, 4) - G @ B.T. Точно так же градиент B (3, 4) должен быть A.T @ G.
Проверьте один элемент в уме: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Подтолкните A[0, 1], и out[0, 0] сдвинется на B[1, 0], умноженное на подталкивание. Это ровно элемент (0, 1) матрицы G @ B.T, когда G равна 1 в (0, 0) и 0 в остальных местах.
Итоги dA = G @ B.T, dB = A.T @ G. Если забудете, сопоставьте формы.
Слова и символы этого урока
- Tensor
- здесь: массив плюс его градиент плюс Tensor, из которых он получен
- .grad
- градиент итоговых потерь по этому Tensor
- unbroadcast
- суммирование градиента обратно до формы, из которой его растянули
Напишите __matmul__ с его _backward. Скрытый тест проверяет градиенты (A @ B) * C для случайных форм.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.