Conteúdo do curso Lição 133 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Gate: uma RNN quebrada com duas falhas (IA desligada)

Por que isso importa Encontrar duas falhas de uma vez, sem ajuda, é o que as clínicas têm treinado você para fazer.

IA desligada. Este personagem RNN tem duas falhas. Uma impede que o loss caia muito, embora cada loss continue sendo um número finito (nada explode). A outra significa que a rede nunca usa de verdade o que leu antes no snippet. Encontre e corrija ambas.

Palavras e símbolos nesta lição
rede neural recorrente (RNN)
uma rede que lê um passo de cada vez e carrega um estado oculto para frente
entropy
o quão espalhada uma distribuição é: 0 quando certa, ln(n) quando todas as n escolhas são iguais
Sua vez

Corrija init e run_snippet. Depois de 200 passos, a perda média dos últimos 20 passos precisa ficar abaixo de 2.45, toda perda precisa ser um número finito, e o primeiro caractere de um trecho ainda precisa afetar a última previsão.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.