Gradientes sumindo e explodindo, medidos
Por que isso importa Você acabou de ver o gradiente de um passo inicial multiplicado por w uma vez por passo. Com muitos passos, esse produto ou diminui até sumir ou explode. Esta é a principal fraqueza das RNNs simples.
Com uma matriz de pesos W em vez de um número, voltar um passo multiplica o gradiente por W transposta (ignorando o tanh, que só pode diminuí-lo ainda mais). Um passo pode aumentar um vetor em no máximo o maior estiramento de W, sua spectral norm. Ao longo de muitos passos, o que conta é o spectral radius, o tamanho do maior autovalor de W (Módulo 2, "Como a dispersão se soma, e o que uma matriz estica"): após k passos, o tamanho mudou aproximadamente por r elevado a k. (Para as rotações usadas abaixo, os dois são o mesmo número, r.) r = 0.9 em 50 passos: 0.005. r = 1.1 em 50 passos: 117.
Duas curas diferentes
Gradientes explodindo têm uma cura bruta: clipá-los (Module 5). Gradientes sumindo não têm essa cura. O gradiente total para um peso é uma soma sobre cada distância para trás no tempo; quando os termos de longo alcance encolhem como 0.9 elevado a 50, eles são afogados pelos de curto alcance, e escalar a soma toda para cima escala o ruído com eles. A rede simplesmente não consegue dizer que algo muito atrás importou. A cura ali é uma arquitetura diferente: o LSTM, a seguir.
Palavras e símbolos nesta lição
- rede neural recorrente (RNN)
- uma rede que lê um passo de cada vez e carrega um estado oculto para frente
- gradiente desaparecendo / explodindo
- a gradiente multiplicado pela mesma matriz muitas vezes encolhe até sumir ou explode
- LSTM
- Uma RNN com uma célula de memória c e três gates: forget, input, output
Escreva gradient_sizes(W, steps): comece com um gradiente de uns, multiplique por W.T uma vez por passo e retorne a list de normas (uma por passo). Depois defina verdicts como "vanish", "steady" ou "explode" para as três matrizes, julgando pela norma após 50 passos (abaixo de 0.01, entre 0.01 e 100, acima de 100).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.