Uma RNN de caracteres
Por que isso importa Prever o próximo caractere a partir dos anteriores é o modelo de linguagem original. A mesma ideia, em escala maior, é um chatbot.
Alimente o texto da própria lição do curso um caractere por vez. Em cada passo a RNN atualiza seu estado e prevê o próximo caractere com uma linear layer e softmax. A loss é a média cross-entropy sobre as 16 posições de cada snippet de treinamento.
Cada caractere entra como um embedding: uma linha de números aprendida consultada pelo índice do caractere (o Módulo 12 explica isso direito; por enquanto, uma tabela de consulta que a rede treina).
Chame a Curve com o gráfico: adivinhe a perda no passo 0 e após 200 passos. Um palpite uniforme sobre todos os caracteres no texto dá cerca de ln(V).
Palavras e símbolos nesta lição
- rede neural recorrente (RNN)
- uma rede que lê um passo de cada vez e carrega um estado oculto para frente
- entropy
- o quão espalhada uma distribuição é: 0 quando certa, ln(n) quando todas as n escolhas são iguais
Preencha my_guess. Depois escreva step_state(x_ids, h, P) com o motor da casa: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). O loop de treino em volta já está escrito para você. Depois de 200 passos, a perda média dos últimos 20 passos precisa ficar abaixo de 2.6.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.