Conteúdo do curso Lição 125 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Sequências e estado

Por que isso importa Texto, fala, preços e leituras de sensores chegam um passo de cada vez, e o que veio antes muda o que vem depois. Uma rede recorrente carrega um resumo em execução para frente.

A rede neural recorrente (RNN) mantém um estado oculto h, um vetor curto. Em cada passo ela mistura a nova entrada com o estado antigo e achata o resultado:

h = tanh(x_t @ Wx + h @ Wh + b)

Os mesmos pesos são usados em cada passo, assim como uma CNN reutiliza seu filtro em cada posição. O h final depende de tudo o que a rede leu, então ele é uma memória (com perda) de toda a sequência.

Números pequenos

Um número de entrada, um número oculto, Wx = 1, Wh = 0.5, b = 0, h começa em 0. Lendo 1 e depois 0: h = tanh(1) = 0.76, depois h = tanh(0 + 0.38) = 0.36. A primeira entrada ainda aparece no estado após o segundo passo, sumindo.

Estado oculto: o vetor que uma RNN carrega de passo em passo. Recorrente: alimentando sua própria saída de volta como entrada.

Palavras e símbolos nesta lição
rede neural recorrente (RNN)
a rede que lê um passo de cada vez e carrega um estado oculto para frente
Sua vez

Escreva rnn_forward(xs, Wx, Wh, b): xs tem o formato (steps, input size); comece de um estado zero e retorne a list of hidden states após cada step.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.