Символьная RNN
Почему это важно Предсказание следующего символа по предыдущим - исходная языковая модель. Та же идея, увеличенная в масштабе, - это чат-бот.
Подавайте текст уроков самого курса по одному символу. На каждом шаге RNN обновляет своё состояние и предсказывает следующий символ линейным слоем и softmax. Потери - средняя перекрёстная энтропия по 16 позициям каждого обучающего фрагмента.
Каждый символ входит как эмбеддинг: обучаемая строка чисел, которую находят по индексу символа (модуль 12 объясняет их как следует; пока это таблица поиска, которую обучает сеть).
Угадайте кривую по графику: угадайте потери на шаге 0 и после 200 шагов. Равномерная догадка по всем символам текста даёт около ln(V).
Слова и символы этого урока
- рекуррентная сеть (RNN)
- сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
- энтропия
- насколько распределение размазано: 0 при уверенности, ln(n), когда все n вариантов равны
Заполните my_guess. Затем напишите step_state(x_ids, h, P) на движке курса: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Цикл обучения вокруг написан за вас. После 200 шагов средние потери за последние 20 шагов должны быть ниже 2,6.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.