Рецепт: две проверки прежде всего
Почему это важно Большинство сломанных запусков можно поймать за минуту двумя дешёвыми проверками, прежде чем вы потратите час на обучение.
Опытные практики начинают каждую новую конфигурацию одинаково:
- Проверьте потери в начале. До обучения модель на 10 классов, которая ничего не знает, даёт каждому классу около 0.1, поэтому её потери должны быть около -ln(0.1) = 2.30. Намного выше значит, что что-то неверно масштабировано. Намного ниже значит, что ответ доходит до модели через её входы. Не каждая утечка видна здесь: когда изображения валидации есть и в обучающем наборе, начальные потери нормальные (здоровый запуск этой клиники и её случай с утечкой оба начинают с 2.46), и выдаёт её только слишком хороший результат на валидации.
- Переобучите один батч. Обучайте на одном маленьком батче несколько сотен шагов. Любая рабочая модель и цикл обучения могут запомнить 32 примера и довести потери почти до нуля. Если не может, ошибка в модели, в потерях или в градиентах, и вы нашли её, не трогая полные данные.
- Только потом масштабируйте до полного запуска.
Эта клиника - маленький классификатор цифр, который можно ломать нарочно. config(**changes) создаёт конфигурацию; train(c) её запускает.
| Проба | Что она говорит |
|---|---|
loss_curve(c) | Потери на обучении каждые 50 шагов и итоговая точность на валидации. Всегда смотрите первым делом. |
loss_at_init(c) | Потери до обучения. Свежая модель на 10 классов должна быть около ln(10) = 2.30. |
overfit_one_batch(c) | Может ли она запомнить 32 примера? Здоровая конфигурация доходит почти до 0. |
grad_norms(c) | Размер градиента для каждой матрицы весов в начале. Ноль значит, что ничто не может учиться. |
update_ratio(c) | Размер шага обычного SGD относительно размера весов. Здоровое значение примерно от 0.001 до 0.1 (эмпирическое правило для обычного SGD; модуль 14 показывает, почему у Adam иначе). |
act_stats(c) | Скрытые активации: среднее, наибольшее значение, доля мёртвых нейронов. |
lr_schedule(c) | Скорость обучения на шагах 0, 50, 100 и так далее. |
batch_labels(c) | Метки в первых нескольких батчах. |
overlap(c) | Сколько примеров валидации встречается и в обучении. |
Слова и символы этого урока
- проба
- быстрое измерение запуска, например размеров градиентов или мёртвых нейронов
- переобучить один батч
- проверка, что конфигурация может запомнить несколько примеров
Напишите sanity(c), возвращающую словарь с init_ok (потери в начале в пределах 0.3 от 2.30) и can_overfit (потери overfit-one-batch ниже 0.1), используя пробы. Примените её к здоровой конфигурации и к suspect.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.