Conteúdo do curso Lição 129 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Portões LSTM, construídos

Por que isso importa A LSTM (1997, com o forget gate ensinado aqui adicionado em 2000) corrigiu o problema de memória da RNN e impulsionou o reconhecimento de fala e tradução por vinte anos. O truque é simples depois que você vê.

Veja isso

Reproduza a animação. Além do estado oculto h, uma LSTM mantém uma cell c, uma esteira de memória. Três gates, cada um uma sigmoide entre 0 e 1, decidem o que acontece com ela:

  • forget gate f: quanto da célula antiga manter;
  • gate de entrada i: quanta informação nova g para escrever;
  • output gate o: quanto da célula mostrar como h.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

A linha chave é c = f * c + i * g. Voltando um passo, o gradiente na célula é multiplicado por f, e nada mais: nenhuma multiplicação repetida por uma matriz de pesos. Ele ainda diminui por f a cada passo, então após k passos ele é f elevado a k. Com f = 0.95 isso é 0.08 após 50 passos; com f = 0.999 é 0.95. Então um LSTM lembra muito quando seus forget gates ficam muito próximos de 1, e a próxima lição mede quão próximo é próximo o suficiente.

Palavras e símbolos nesta lição
rede neural recorrente (RNN)
a rede que lê um passo de cada vez e carrega um estado oculto para frente
estado oculto h
o vetor curto de números que uma RNN carrega de passo em passo
LSTM
Uma RNN com uma célula de memória c e três gates: forget, input, output
Sua vez

Escreva lstm_step(x, h, c, W, b) retornando (h, c), com W de formato (inputs + hidden, 4 * hidden) e os quatro quartos na ordem i, f, g, o. As inputs são em lote: x é (batch, inputs), h e c são (batch, hidden), então junte x e h ao longo do eixo 1.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.