Программа курса Урок 126 из 246 · Модуль 11: Сети с памятью (RNN)
Модуль 11: Сети с памятью (RNN)

Символьная RNN

Почему это важно Предсказание следующего символа по предыдущим - исходная языковая модель. Та же идея, увеличенная в масштабе, - это чат-бот.

Подавайте текст уроков самого курса по одному символу. На каждом шаге RNN обновляет своё состояние и предсказывает следующий символ линейным слоем и softmax. Потери - средняя перекрёстная энтропия по 16 позициям каждого обучающего фрагмента.

Каждый символ входит как эмбеддинг: обучаемая строка чисел, которую находят по индексу символа (модуль 12 объясняет их как следует; пока это таблица поиска, которую обучает сеть).

Угадайте кривую по графику: угадайте потери на шаге 0 и после 200 шагов. Равномерная догадка по всем символам текста даёт около ln(V).

Слова и символы этого урока
рекуррентная сеть (RNN)
сеть, которая читает по одному шагу за раз и несёт скрытое состояние вперёд
энтропия
насколько распределение размазано: 0 при уверенности, ln(n), когда все n вариантов равны
Твоя очередь

Заполните my_guess. Затем напишите step_state(x_ids, h, P) на движке курса: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Цикл обучения вокруг написан за вас. После 200 шагов средние потери за последние 20 шагов должны быть ниже 2,6.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.