Контрольная задача: три невиданных сломанных запуска (ИИ выключен)
Почему это важно Диагностировать самостоятельно, в рамках бюджета, - навык, ради которого этот модуль.
ИИ-наставник выключен. Три запуска, в каждом одна неисправность из любого места этого модуля. Это новые запуски, а не тренировочные случаи: другие seed, другой размер батча и неисправности других размеров, так что числа, запомненные по практике, не совпадут. Ваш бюджет - 9 проб на всё (обучение запечатанного случая считается за одну), считая по всем запускам с момента открытия страницы (повтор пробы на том же случае бесплатен; неверный диагноз или неработающее исправление стоит одну пробу).
Каждый случай ниже - запуск обучения с одной подложенной неисправностью. Для каждого: потратьте пробы, чтобы найти неисправность, затем запишите исправление как изменения config. Неисправности в этом уроке: any fault from this module. Чем меньше проб, тем лучше; хорошему диагносту редко нужно больше двух на случай.
| Проба | Что она говорит |
|---|---|
loss_curve(c) | Потери на обучении каждые 50 шагов и итоговая точность на валидации. Всегда смотрите первым делом. |
loss_at_init(c) | Потери до обучения. Свежая модель на 10 классов должна быть около ln(10) = 2.30. |
overfit_one_batch(c) | Может ли она запомнить 32 примера? Здоровая конфигурация доходит почти до 0. |
grad_norms(c) | Размер градиента для каждой матрицы весов в начале. Ноль значит, что ничто не может учиться. |
update_ratio(c) | Размер шага обычного SGD относительно размера весов. Здоровое значение примерно от 0.001 до 0.1 (эмпирическое правило для обычного SGD; модуль 14 показывает, почему у Adam иначе). |
act_stats(c) | Скрытые активации: среднее, наибольшее значение, доля мёртвых нейронов. |
lr_schedule(c) | Скорость обучения на шагах 0, 50, 100 и так далее. |
batch_labels(c) | Метки в первых нескольких батчах. |
overlap(c) | Сколько примеров валидации встречается и в обучении. |
Слова и символы этого урока
- проба
- быстрое измерение запуска, например размеров градиентов или мёртвых нейронов
Заполните diagnosis (случай в имя неисправности) и fixes (случай в словарь изменений config) для случаев A, B и C. Исправление должно убрать неисправность и обучаться хотя бы до 90% точности на валидации.
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.