Программа курса Урок 56 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Backward для умножения матриц

Почему это важно Умножение матриц - рабочая лошадка каждого слоя. Его правило backward - две строки, и вывести его можно по одним формам.

Маленькие числа

Возьмите out = A @ B, где A формы (2, 3), а B формы (3, 4), так что out - (2, 4). Приходящий градиент G имеет форму out (2, 4). Градиент A должен иметь форму A (2, 3). Единственный способ получить (2, 3) из G (2, 4) и B (3, 4) - G @ B.T. Точно так же градиент B (3, 4) должен быть A.T @ G.

Проверьте один элемент в уме: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Подтолкните A[0, 1], и out[0, 0] сдвинется на B[1, 0], умноженное на подталкивание. Это ровно элемент (0, 1) матрицы G @ B.T, когда G равна 1 в (0, 0) и 0 в остальных местах.

Итоги dA = G @ B.T, dB = A.T @ G. Если забудете, сопоставьте формы.

Слова и символы этого урока
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
.grad
градиент итоговых потерь по этому Tensor
unbroadcast
суммирование градиента обратно до формы, из которой его растянули
Твоя очередь

Напишите __matmul__ с его _backward. Скрытый тест проверяет градиенты (A @ B) * C для случайных форм.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.