Conteúdo do curso Lição 126 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Uma RNN de caracteres

Por que isso importa Prever o próximo caractere a partir dos anteriores é o modelo de linguagem original. A mesma ideia, em escala maior, é um chatbot.

Alimente o texto da própria lição do curso um caractere por vez. Em cada passo a RNN atualiza seu estado e prevê o próximo caractere com uma linear layer e softmax. A loss é a média cross-entropy sobre as 16 posições de cada snippet de treinamento.

Cada caractere entra como um embedding: uma linha de números aprendida consultada pelo índice do caractere (o Módulo 12 explica isso direito; por enquanto, uma tabela de consulta que a rede treina).

Chame a Curve com o gráfico: adivinhe a perda no passo 0 e após 200 passos. Um palpite uniforme sobre todos os caracteres no texto dá cerca de ln(V).

Palavras e símbolos nesta lição
rede neural recorrente (RNN)
uma rede que lê um passo de cada vez e carrega um estado oculto para frente
entropy
o quão espalhada uma distribuição é: 0 quando certa, ln(n) quando todas as n escolhas são iguais
Sua vez

Preencha my_guess. Depois escreva step_state(x_ids, h, P) com o motor da casa: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). O loop de treino em volta já está escrito para você. Depois de 200 passos, a perda média dos últimos 20 passos precisa ficar abaixo de 2.6.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.