Программа курса Урок 96 из 246 · Модуль 8: Клиника запусков I
Модуль 8: Клиника запусков I

Клиника: неисправности скорости обучения

Почему это важно Скорость обучения - самая частая причина плохого запуска. Каждый вид ошибки оставляет свой след.

Слишком высокая: шаги перелетают, потери скачут или растут, а отношение обновления к весу около 1 или выше. Слишком низкая: почти ничто не движется, потери стоят около 2.30, и отношение крошечное. Снижена слишком рано: запуск какое-то время учится, затем перестаёт улучшаться: с этого момента потери лишь колеблются от батча к батчу вокруг посредственного уровня (здесь примерно между 1.1 и 1.5); расписание показывает обвал скорости.

Каждый случай ниже - запуск обучения с одной подложенной неисправностью. Для каждого: потратьте пробы, чтобы найти неисправность, затем запишите исправление как изменения config. Неисправности в этом уроке: lr_too_high, lr_too_low, lr_dropped_early. Чем меньше проб, тем лучше; хорошему диагносту редко нужно больше двух на случай.

ПробаЧто она говорит
loss_curve(c)Потери на обучении каждые 50 шагов и итоговая точность на валидации. Всегда смотрите первым делом.
loss_at_init(c)Потери до обучения. Свежая модель на 10 классов должна быть около ln(10) = 2.30.
overfit_one_batch(c)Может ли она запомнить 32 примера? Здоровая конфигурация доходит почти до 0.
grad_norms(c)Размер градиента для каждой матрицы весов в начале. Ноль значит, что ничто не может учиться.
update_ratio(c)Размер шага обычного SGD относительно размера весов. Здоровое значение примерно от 0.001 до 0.1 (эмпирическое правило для обычного SGD; модуль 14 показывает, почему у Adam иначе).
act_stats(c)Скрытые активации: среднее, наибольшее значение, доля мёртвых нейронов.
lr_schedule(c)Скорость обучения на шагах 0, 50, 100 и так далее.
batch_labels(c)Метки в первых нескольких батчах.
overlap(c)Сколько примеров валидации встречается и в обучении.
Слова и символы этого урока
проба
быстрое измерение запуска, например размеров градиентов или мёртвых нейронов
отношение обновления к весу
насколько один шаг меняет каждый вес относительно его размера
Твоя очередь

Заполните diagnosis (случай в имя неисправности) и fixes (случай в словарь изменений config) для случаев A, B и C. Исправление должно убрать неисправность и обучаться хотя бы до 90% точности на валидации.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.