Backprop through time é o backprop comum
Por que isso importa "Backpropagation through time" parece um algoritmo novo. Não é: desenrole o loop e ele é backprop em uma rede profunda cujas camadas compartilham um conjunto de pesos.
Veja isso
Reproduza a animação. Três passos de uma RNN, desenhados lado a lado, são três camadas. O mesmo peso w aparece em cada uma. Para trás, o gradiente para w coleta uma contribuição de cada cópia, exatamente como um nó usado várias vezes no seu motor do Módulo 4.
Números pequenos
A RNN linear de um número: h_t = w h_(t-1) + x_t, começando em h_0 = 0, com loss = h_3. Entradas 1, 2, 3 e w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Voltando, dL/dh2 = w = 0.5 e dL/dh1 = w ao quadrado = 0.25. Cada cópia de w contribui (gradiente em sua saída) vezes (o h que ela multiplicou): 1 vezes h2 + 0.5 vezes h1 + 0.25 vezes h0 = 2.5 + 0.5 + 0 = 3.0.
BPTT: backpropagation através do tempo; desenrole os passos e faça o backpropagate, somando o gradiente de cada passo que compartilha um peso.
Palavras e símbolos nesta lição
- rede neural recorrente (RNN)
- a rede que lê um passo de cada vez e carrega um estado oculto para frente
- backprop through time (BPTT)
- Desdobre os passos e faça o backpropagation, adicionando o gradiente de cada passo que compartilha um peso
Para a RNN de um número h_t = w * h_(t-1) + x_t com h_0 = 0 e perda h_T (o último estado), escreva bptt(xs, w) retornando dL/dw percorrendo os passos de trás para frente.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.