Программа курса Урок 60 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Направьте проверку на свой движок

Почему это важно Движок с одним неверным правилом будет обучаться, медленно и плохо, и вы можете так и не узнать. Отныне каждая новая операция проверяется до того, как её используют.

Ваша проверка из модуля 3 подталкивала массивы NumPy. Здесь подталкивайте data у Tensor на месте, перестраивайте вычисление и сравнивайте с тем, что backward оставил в .grad.

Рецепт: (1) постройте выход и один раз вызовите backward(), чтобы получить градиенты движка. (2) Для каждого входа и каждого элемента подталкивайте data вверх и вниз, перестраивайте и читайте значение выхода. (3) Сообщите наибольшую относительную ошибку.

Итоги Никогда не доверяйте новому правилу backward, пока оно не прошло проверку.

Слова и символы этого урока
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
.grad
градиент итоговых потерь по этому Tensor
unbroadcast
суммирование градиента обратно до формы, из которой его растянули
Твоя очередь

Напишите engine_check(build, inputs): build() возвращает скалярный Tensor, вычисленный из Tensor в списке inputs. Верните наибольшую относительную ошибку между градиентами движка и полученными подталкиванием. Сбрасывайте grad каждого входа в нули перед вызовом backward. Скрытый тест подкладывает в движок три бага, по одному за раз; ваша проверка должна сообщать больше 1e-3 для каждого и меньше 1e-6 для правильного движка.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.