Portões LSTM, construídos
Por que isso importa A LSTM (1997, com o forget gate ensinado aqui adicionado em 2000) corrigiu o problema de memória da RNN e impulsionou o reconhecimento de fala e tradução por vinte anos. O truque é simples depois que você vê.
Veja isso
Reproduza a animação. Além do estado oculto h, uma LSTM mantém uma cell c, uma esteira de memória. Três gates, cada um uma sigmoide entre 0 e 1, decidem o que acontece com ela:
- forget gate f: quanto da célula antiga manter;
- gate de entrada i: quanta informação nova g para escrever;
- output gate o: quanto da célula mostrar como h.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
A linha chave é c = f * c + i * g. Voltando um passo, o gradiente na célula é multiplicado por f, e nada mais: nenhuma multiplicação repetida por uma matriz de pesos. Ele ainda diminui por f a cada passo, então após k passos ele é f elevado a k. Com f = 0.95 isso é 0.08 após 50 passos; com f = 0.999 é 0.95. Então um LSTM lembra muito quando seus forget gates ficam muito próximos de 1, e a próxima lição mede quão próximo é próximo o suficiente.
Palavras e símbolos nesta lição
- rede neural recorrente (RNN)
- a rede que lê um passo de cada vez e carrega um estado oculto para frente
- estado oculto h
- o vetor curto de números que uma RNN carrega de passo em passo
- LSTM
- Uma RNN com uma célula de memória c e três gates: forget, input, output
Escreva lstm_step(x, h, c, W, b) retornando (h, c), com W de formato (inputs + hidden, 4 * hidden) e os quatro quartos na ordem i, f, g, o. As inputs são em lote: x é (batch, inputs), h e c são (batch, hidden), então junte x e h ao longo do eixo 1.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.