Conteúdo do curso Lição 127 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Backprop through time é o backprop comum

Por que isso importa "Backpropagation through time" parece um algoritmo novo. Não é: desenrole o loop e ele é backprop em uma rede profunda cujas camadas compartilham um conjunto de pesos.

Veja isso

Reproduza a animação. Três passos de uma RNN, desenhados lado a lado, são três camadas. O mesmo peso w aparece em cada uma. Para trás, o gradiente para w coleta uma contribuição de cada cópia, exatamente como um nó usado várias vezes no seu motor do Módulo 4.

Números pequenos

A RNN linear de um número: h_t = w h_(t-1) + x_t, começando em h_0 = 0, com loss = h_3. Entradas 1, 2, 3 e w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Voltando, dL/dh2 = w = 0.5 e dL/dh1 = w ao quadrado = 0.25. Cada cópia de w contribui (gradiente em sua saída) vezes (o h que ela multiplicou): 1 vezes h2 + 0.5 vezes h1 + 0.25 vezes h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: backpropagation através do tempo; desenrole os passos e faça o backpropagate, somando o gradiente de cada passo que compartilha um peso.

Palavras e símbolos nesta lição
rede neural recorrente (RNN)
a rede que lê um passo de cada vez e carrega um estado oculto para frente
backprop through time (BPTT)
Desdobre os passos e faça o backpropagation, adicionando o gradiente de cada passo que compartilha um peso
Sua vez

Para a RNN de um número h_t = w * h_(t-1) + x_t com h_0 = 0 e perda h_T (o último estado), escreva bptt(xs, w) retornando dL/dw percorrendo os passos de trás para frente.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.