Programma Lezione 129 di 246 · Modulo 11: Reti con memoria (RNN)
Modulo 11: Reti con memoria (RNN)

I gate della LSTM, costruiti

Perché è importante La LSTM (1997, con il forget gate insegnato qui aggiunto nel 2000) ha risolto il problema di memoria della RNN e ha alimentato il riconoscimento vocale e la traduzione per vent'anni. Il suo trucco è semplice una volta che lo vedi.

Guardalo

Avvia l'animazione. Oltre allo stato nascosto h, una LSTM tiene una cella c, un nastro trasportatore di memoria. Tre gate, ognuno una sigmoide tra 0 e 1, decidono che cosa le succede:

  • forget gate f: quanto tenere della vecchia cella;
  • input gate i: quanta nuova informazione g scriverci dentro;
  • output gate o: quanto della cella mostrare come h.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

La riga chiave è c = f * c + i * g. Tornando indietro di un passo, il gradiente sulla cella viene moltiplicato per f, e nient'altro: nessuna moltiplicazione ripetuta per una matrice di pesi. Si riduce comunque di f a ogni passo, quindi dopo k passi è f alla potenza k. Con f = 0.95 fa 0.08 dopo 50 passi; con f = 0.999 fa 0.95. Quindi una LSTM ricorda lontano quando i suoi forget gate restano molto vicini a 1, e la prossima lezione misura quanto vicino basta.

Parole e simboli di questa lezione
rete ricorrente (RNN)
una rete che legge un passo alla volta e porta avanti uno stato nascosto
stato nascosto h
il vettore corto di numeri che una RNN porta da un passo all'altro
LSTM
una RNN con una cella di memoria c e tre gate: forget, input, output
Tocca a te

Scrivi lstm_step(x, h, c, W, b) che restituisce (h, c), con W di forma (input + nascosti, 4 * nascosti) e i quattro quarti nell'ordine i, f, g, o. Gli input sono a batch: x è (batch, input), h e c sono (batch, nascosti), quindi unisci x e h lungo l'asse 1.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.