Программа курса Урок 165 из 246 · Модуль 14: Клиника запусков II
Модуль 14: Клиника запусков II

Контрольная задача: три невиданных сломанных запуска (ИИ выключен)

Почему это важно Диагностировать самостоятельно, в рамках бюджета, - навык, который этот курс строит с модуля 8.

ИИ-наставник выключен. Три запуска, в каждом одна неисправность из учебных случаев этого модуля. Это новые запуски, а не тренировочные случаи: другой seed и неисправности других размеров, так что запомненные числа не совпадут. Ваш бюджет - 9 проб на всё (обучение запечатанного случая считается за одну), считая по всем запускам с момента открытия страницы (повтор пробы на том же случае бесплатен; неверный диагноз или неработающее исправление стоит одну пробу).

Каждый случай ниже - запуск обучения с одной подложенной неисправностью. Для каждого: потратьте пробы, чтобы найти неисправность, затем запишите исправление как изменения config, возвращающие запуск к здоровому. Неисправности в этом уроке: any training fault from this module. Хорошему диагносту редко нужно больше двух проб на случай.

ПробаЧто она говоритЗдоровый запуск
loss_curve(c)Потери на обучении каждые 25 шагов и потери на невиданном тексте в конце. Всегда смотрите первым делом.от 4.55 примерно до 2.9; на невиданном около 3.0
loss_at_init(c)Потери до обучения. Свежая модель, угадывающая равномерно среди 95 символов, даёт ln(95).4.55
leak_check(c)Может ли более поздний символ изменить более раннее предсказание?False
show_batch(c)Один обучающий вход и его цель, как текст.цель = вход, сдвинутый на один символ влево
update_ratio(c)После первого шага Adam - насколько сдвинулись веса относительно своего размера. Это не правило модуля 8: диапазон от 0.001 до 0.1 - для шагов обычного SGD. Первый шаг Adam сдвигает каждый вес примерно на скорость обучения, каким бы ни был его градиент, а эти веса начинаются около 0.02, поэтому 0.01 / 0.02 даёт около 0.5. Сравнивайте случай с этим здоровым запуском, а не с диапазоном модуля 8.около 0.5
block_change(c)Насколько первый блок меняет каждый вектор в начале.около 0.3
Слова и символы этого урока
ln(V)
начальные потери модели, угадывающей равномерно среди V символов: 4.55 для 95 символов
изменение блоком
насколько один блок меняет вектор в начале; около 1 значит, что он его заменил
Твоя очередь

Заполните diagnosis (случай в имя неисправности) и fixes (случай в словарь изменений config) для случаев A, B и C. После вашего исправления каждая настройка должна совпадать со здоровым запуском.

ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.