Программа курса Урок 29 из 246 · Модуль 2: Математика и вероятность, только по необходимости
Модуль 2: Математика и вероятность, только по необходимости

Градиенты целых матриц (правило форм)

Почему это важно Слои работают с целыми матрицами, поэтому их градиенты тоже матрицы. Одно правило и один трюк выводят обратный проход почти каждого слоя, ничего не заучивая.

Правило форм

Потери L - одно число. Градиент L по любому массиву имеет ровно форму этого массива: один наклон на элемент. Поэтому если W имеет форму (3, 4), то dL/dW тоже (3, 4).

Маленькие числа: Y = X @ W

Скажем, X имеет форму (2, 3), W - (3, 4), Y = X @ W - (2, 4), и какие-то последующие шаги превращают Y в L. Обратный проход даёт вам G = dL/dY, форма (2, 4). Каждый элемент Y[i, j] - сумма по k от X[i, k] W[k, j]. Подтолкните W[k, j]: это сдвигает каждый Y[i, j] в столбце j на X[i, k], умноженное на подталкивание. Поэтому dL/dW[k, j] = сумма по i от X[i, k] G[i, j]. Это один элемент X.T @ G, формы (3, 4): форма W, как и говорит правило.

То же рассуждение для X даёт dL/dX = G @ W.T, форма (2, 3). Быстрый способ запомнить оба: поставьте G с другой матрицей, транспонированной, в единственном порядке, при котором формы подходят.

Якобиан, и почему его никто не строит

Полная таблица того, как каждый элемент выхода движется вместе с каждым элементом входа, - это якобиан. Для Y = X @ W с W размера 1000 на 1000 и 64 строками в этой таблице было бы 64 тысячи выходов на миллион весов: 64 миллиарда элементов. Обратный проход никогда её не строит: ему всегда нужно лишь G, умноженное на якобиан, а это маленькое произведение X.T @ G. Это произведение - то самое произведение вектора на якобиан из прошлого урока.

Якобиан: наклон каждого выхода по каждому входу, одной большой таблицей. Произведение вектора на якобиан: градиент, протолкнутый назад через один шаг, вычисленный напрямую без таблицы.

Итоги Та же форма, что у вещи. Для Y = X @ W: dW = X.T @ G и dX = G @ W.T.

Слова и символы этого урока
вектор
список чисел, по одному на признак
производная (df/dx)
как быстро меняется выход на единичное подталкивание входа
Твоя очередь

Напишите matmul_grads(X, W, G), возвращающую (dX, dW) для Y = X @ W, и elementwise_grads(A, B, G), возвращающую (dA, dB) для Y = A * B (одинаковые формы, поэлементно). Скрытый тест сверяет оба с подталкиванием на формах, которых вы не видели.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.