Программа курса Урок 100 из 246 · Модуль 8: Клиника запусков I
Модуль 8: Клиника запусков I

Доверять помощнику?

Почему это важно ИИ-ассистенты охотно диагностируют ваши запуски обучения. Они часто правы и иногда уверенно ошибаются. Навык в том, чтобы знать, когда что, опираясь на доказательства, а не на тон.

ИИ-помощник посмотрел десять сломанных запусков и назвал неисправность для каждого. Около трети его ответов неверны, и звучат они ровно так же уверенно, как верные. Для каждого случая решите: принять или отклонить. Основывайте каждое решение на пробе, а не на том, насколько правдоподобно звучит утверждение.

Ваш результат - точность вердиктов: как часто ваше "принять" или "отклонить" совпало с правдой. (Это не калибровка, которую определяет модуль 9: совпадает ли уверенность с тем, как часто вы правы.) Остерегайтесь утверждений, которые подходят под некоторые симптомы, но не под решающий: застрявшие потери могут быть слишком низкой скоростью обучения или скоростью, которая была в порядке, а затем снизилась.

ПробаЧто она говорит
loss_curve(c)Потери на обучении каждые 50 шагов и итоговая точность на валидации. Всегда смотрите первым делом.
loss_at_init(c)Потери до обучения. Свежая модель на 10 классов должна быть около ln(10) = 2.30.
overfit_one_batch(c)Может ли она запомнить 32 примера? Здоровая конфигурация доходит почти до 0.
grad_norms(c)Размер градиента для каждой матрицы весов в начале. Ноль значит, что ничто не может учиться.
update_ratio(c)Размер шага обычного SGD относительно размера весов. Здоровое значение примерно от 0.001 до 0.1 (эмпирическое правило для обычного SGD; модуль 14 показывает, почему у Adam иначе).
act_stats(c)Скрытые активации: среднее, наибольшее значение, доля мёртвых нейронов.
lr_schedule(c)Скорость обучения на шагах 0, 50, 100 и так далее.
batch_labels(c)Метки в первых нескольких батчах.
overlap(c)Сколько примеров валидации встречается и в обучении.
Слова и символы этого урока
проба
быстрое измерение запуска, например размеров градиентов или мёртвых нейронов
точность вердиктов
как часто ваше принятие или отклонение утверждения совпало с правдой
Твоя очередь

Для каждого случая от A до J присвойте verdicts[case] значение True (помощник прав) или False. Нужно хотя бы 9 из 10 верных.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.