Ваши собственные пробы
Почему это важно Пробы - это то, как вы видите запуск изнутри. Если писать их самому, вы будете знать, что значат числа, когда их покажет инструмент.
Три пробы делают большую часть работы:
- Размер градиента по слоям: длина (норма) градиента каждой матрицы весов. Все нули: ничто не учится. Сильно разные между слоями: один слой голодает.
- Доля мёртвых: доля скрытых нейронов, выдающих ноль для каждого примера в батче.
- Отношение обновления к весу: скорость обучения, умноженная на размер градиента, делённая на размер веса. Оно говорит, какую долю каждого веса меняет один шаг. Примерно от 0.001 до 0.1 - здорово; около 1 значит, что каждый шаг переписывает веса; около 0 значит, что ничто не движется.
Обвязка открывает свои внутренности: _data(c) даёт обучающие данные, _init(c) - начальные веса, а _fb(p, X, y, c) возвращает (потери, градиенты, скрытые активации).
Слова и символы этого урока
- проба
- быстрое измерение запуска, например размеров градиентов или мёртвых нейронов
- отношение обновления к весу
- насколько один шаг меняет каждый вес относительно его размера
Напишите my_grad_norms(c), my_dead_share(c) и my_update_ratio(c), используя первые 256 обучающих примеров и начальные веса. Они должны совпадать с пробами клиники.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.