Программа курса Урок 95 из 246 · Модуль 8: Клиника запусков I
Модуль 8: Клиника запусков I

Ваши собственные пробы

Почему это важно Пробы - это то, как вы видите запуск изнутри. Если писать их самому, вы будете знать, что значат числа, когда их покажет инструмент.

Три пробы делают большую часть работы:

  • Размер градиента по слоям: длина (норма) градиента каждой матрицы весов. Все нули: ничто не учится. Сильно разные между слоями: один слой голодает.
  • Доля мёртвых: доля скрытых нейронов, выдающих ноль для каждого примера в батче.
  • Отношение обновления к весу: скорость обучения, умноженная на размер градиента, делённая на размер веса. Оно говорит, какую долю каждого веса меняет один шаг. Примерно от 0.001 до 0.1 - здорово; около 1 значит, что каждый шаг переписывает веса; около 0 значит, что ничто не движется.

Обвязка открывает свои внутренности: _data(c) даёт обучающие данные, _init(c) - начальные веса, а _fb(p, X, y, c) возвращает (потери, градиенты, скрытые активации).

Слова и символы этого урока
проба
быстрое измерение запуска, например размеров градиентов или мёртвых нейронов
отношение обновления к весу
насколько один шаг меняет каждый вес относительно его размера
Твоя очередь

Напишите my_grad_norms(c), my_dead_share(c) и my_update_ratio(c), используя первые 256 обучающих примеров и начальные веса. Они должны совпадать с пробами клиники.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.