Направьте проверку на свой движок
Почему это важно Движок с одним неверным правилом будет обучаться, медленно и плохо, и вы можете так и не узнать. Отныне каждая новая операция проверяется до того, как её используют.
Ваша проверка из модуля 3 подталкивала массивы NumPy. Здесь подталкивайте data у Tensor на месте, перестраивайте вычисление и сравнивайте с тем, что backward оставил в .grad.
Рецепт: (1) постройте выход и один раз вызовите backward(), чтобы получить градиенты движка. (2) Для каждого входа и каждого элемента подталкивайте data вверх и вниз, перестраивайте и читайте значение выхода. (3) Сообщите наибольшую относительную ошибку.
Итоги Никогда не доверяйте новому правилу backward, пока оно не прошло проверку.
Слова и символы этого урока
- Tensor
- здесь: массив плюс его градиент плюс Tensor, из которых он получен
- .grad
- градиент итоговых потерь по этому Tensor
- unbroadcast
- суммирование градиента обратно до формы, из которой его растянули
Напишите engine_check(build, inputs): build() возвращает скалярный Tensor, вычисленный из Tensor в списке inputs. Верните наибольшую относительную ошибку между градиентами движка и полученными подталкиванием. Сбрасывайте grad каждого входа в нули перед вызовом backward. Скрытый тест подкладывает в движок три бага, по одному за раз; ваша проверка должна сообщать больше 1e-3 для каждого и меньше 1e-6 для правильного движка.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.