Programma Lezione 127 di 246 · Modulo 11: Reti con memoria (RNN)
Modulo 11: Reti con memoria (RNN)

La backprop nel tempo è una backprop normale

Perché è importante "Backpropagation nel tempo" suona come un algoritmo nuovo. Non lo è: srotola il ciclo ed è la backprop su una rete profonda i cui layer condividono un unico insieme di pesi.

Guardalo

Avvia l'animazione. Tre passi di una RNN, disegnati uno accanto all'altro, sono tre layer. Lo stesso peso w compare in ciascuno. All'indietro, il gradiente di w raccoglie un contributo da ogni copia, esattamente come un nodo usato più volte nel tuo motore del Modulo 4.

Numeri piccolissimi

Una RNN lineare di un numero: h_t = w h_(t-1) + x_t, partendo da h_0 = 0, con loss = h_3. Input 1, 2, 3 e w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Tornando indietro, dL/dh2 = w = 0.5 e dL/dh1 = w al quadrato = 0.25. Ogni copia di w contribuisce (gradiente al suo output) per (l'h che ha moltiplicato): 1 per h2 + 0.5 per h1 + 0.25 per h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: backpropagation nel tempo; srotola i passi e fai la backprop, sommando il gradiente di ogni passo che condivide un peso.

Parole e simboli di questa lezione
rete ricorrente (RNN)
una rete che legge un passo alla volta e porta avanti uno stato nascosto
backprop nel tempo (BPTT)
srotolare i passi e fare la backprop, sommando il gradiente di ogni passo che condivide un peso
Tocca a te

Per la RNN di un numero h_t = w * h_(t-1) + x_t con h_0 = 0 e loss h_T (l'ultimo stato), scrivi bptt(xs, w) che restituisce dL/dw percorrendo all'indietro i passi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.