Conteúdo do curso Lição 128 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Gradientes sumindo e explodindo, medidos

Por que isso importa Você acabou de ver o gradiente de um passo inicial multiplicado por w uma vez por passo. Com muitos passos, esse produto ou diminui até sumir ou explode. Esta é a principal fraqueza das RNNs simples.

Com uma matriz de pesos W em vez de um número, voltar um passo multiplica o gradiente por W transposta (ignorando o tanh, que só pode diminuí-lo ainda mais). Um passo pode aumentar um vetor em no máximo o maior estiramento de W, sua spectral norm. Ao longo de muitos passos, o que conta é o spectral radius, o tamanho do maior autovalor de W (Módulo 2, "Como a dispersão se soma, e o que uma matriz estica"): após k passos, o tamanho mudou aproximadamente por r elevado a k. (Para as rotações usadas abaixo, os dois são o mesmo número, r.) r = 0.9 em 50 passos: 0.005. r = 1.1 em 50 passos: 117.

Duas curas diferentes

Gradientes explodindo têm uma cura bruta: clipá-los (Module 5). Gradientes sumindo não têm essa cura. O gradiente total para um peso é uma soma sobre cada distância para trás no tempo; quando os termos de longo alcance encolhem como 0.9 elevado a 50, eles são afogados pelos de curto alcance, e escalar a soma toda para cima escala o ruído com eles. A rede simplesmente não consegue dizer que algo muito atrás importou. A cura ali é uma arquitetura diferente: o LSTM, a seguir.

Palavras e símbolos nesta lição
rede neural recorrente (RNN)
uma rede que lê um passo de cada vez e carrega um estado oculto para frente
gradiente desaparecendo / explodindo
a gradiente multiplicado pela mesma matriz muitas vezes encolhe até sumir ou explode
LSTM
Uma RNN com uma célula de memória c e três gates: forget, input, output
Sua vez

Escreva gradient_sizes(W, steps): comece com um gradiente de uns, multiplique por W.T uma vez por passo e retorne a list de normas (uma por passo). Depois defina verdicts como "vanish", "steady" ou "explode" para as três matrizes, julgando pela norma após 50 passos (abaixo de 0.01, entre 0.01 e 100, acima de 100).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.