Контрольная задача: сломанная RNN с двумя неисправностями (ИИ выключен)
Почему это важно Найти две неисправности сразу, без помощи, - то, к чему вас тренировали клиники.
ИИ-наставник выключен. В этой символьной RNN две неисправности. Одна не даёт потерям упасть далеко, хотя все потери остаются конечными числами (ничего не взрывается). Другая значит, что сеть никогда по-настоящему не использует то, что прочитала раньше во фрагменте. Найдите и исправьте обе.
Слова и символы этого урока
- рекуррентная сеть (RNN)
- сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
- энтропия
- насколько распределение размазано: 0 при уверенности, ln(n), когда все n вариантов равны
Исправьте init и run_snippet. После 200 шагов средние потери за последние 20 шагов должны быть ниже 2,45, каждое значение потерь должно быть конечным числом, а первый символ фрагмента должен по-прежнему влиять на последнее предсказание.
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.