Программа курса Урок 239 из 246 · Модуль 23: Студия итогового проекта: model card, которую можно запустить
Модуль 23: Студия итогового проекта: model card, которую можно запустить

Найдите и исправьте подложенную ошибку

Почему это важно Худшие ошибки в машинном обучении не приводят к падению. Модель обучается, немного хуже, чем должна, и никто не замечает. Проверка градиентов находит их за секунды.

Коллега переписал код градиентов студии, чтобы он работал быстрее: suspect_grads. Прочитать его вам не дают, как часто бывает в настоящей работе (библиотека, ветка товарища по команде, сгенерированный код). Обученный с ним, ваш базовый запуск всё ещё учится: на плане курса по умолчанию оценка language хуже всего примерно на 0.05, а на images с seed 0 она даже выше. И то и другое внутри того, что невнимательный читатель называет шумом. В нём что-то неверно.

Проверьте его так, как учил модуль 3: подтолкните один вес на малую величину, измерьте изменение потерь и сравните с наклоном, который заявляет код. Сделайте это для 5 элементов каждого из W1, b1, W2 и b2 на маленькой модели (ширина 8, батч из 16), выбранных среди элементов с ненулевым заявленным наклоном (при входах one-hot большинство наклонов W1 ровно 0, и проверка там ничего не доказывает). Измеряйте потери во float64 через studio.loss64 с подталкиванием 1e-4; относительную ошибку выше 0.01 считайте неверной.

Слова и символы этого урока
базовый запуск
простой запуск, с которым сравнивается каждое изменение, на тех же seed
проверка градиентов
сравнение наклона, вычисленного вашим кодом, с наклоном, измеренным подталкиванием веса
Твоя очередь

Напишите check(grad_fn), возвращающую для каждого из 'W1', 'b1', 'W2', 'b2' наибольшую относительную ошибку по 5 элементам. Присвойте wrong отсортированные имена с ошибкой выше 0.01, а cause - одно предложение: что в обратном проходе стоит там, где неверные градиенты, и что, вероятно, там пропущено. Затем напишите fixed_grads сами (прямой проход - m.forward; потери и их наклон - studio.loss_and_dout). Затем обучите свой базовый запуск (seed 0) с каждым и выведите обе оценки.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.