Sequências e estado
Por que isso importa Texto, fala, preços e leituras de sensores chegam um passo de cada vez, e o que veio antes muda o que vem depois. Uma rede recorrente carrega um resumo em execução para frente.
A rede neural recorrente (RNN) mantém um estado oculto h, um vetor curto. Em cada passo ela mistura a nova entrada com o estado antigo e achata o resultado:
h = tanh(x_t @ Wx + h @ Wh + b)
Os mesmos pesos são usados em cada passo, assim como uma CNN reutiliza seu filtro em cada posição. O h final depende de tudo o que a rede leu, então ele é uma memória (com perda) de toda a sequência.
Números pequenos
Um número de entrada, um número oculto, Wx = 1, Wh = 0.5, b = 0, h começa em 0. Lendo 1 e depois 0: h = tanh(1) = 0.76, depois h = tanh(0 + 0.38) = 0.36. A primeira entrada ainda aparece no estado após o segundo passo, sumindo.
Estado oculto: o vetor que uma RNN carrega de passo em passo. Recorrente: alimentando sua própria saída de volta como entrada.
Palavras e símbolos nesta lição
- rede neural recorrente (RNN)
- a rede que lê um passo de cada vez e carrega um estado oculto para frente
Escreva rnn_forward(xs, Wx, Wh, b): xs tem o formato (steps, input size); comece de um estado zero e retorne a list of hidden states após cada step.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.