I gate della LSTM, costruiti
Perché è importante La LSTM (1997, con il forget gate insegnato qui aggiunto nel 2000) ha risolto il problema di memoria della RNN e ha alimentato il riconoscimento vocale e la traduzione per vent'anni. Il suo trucco è semplice una volta che lo vedi.
Guardalo
Avvia l'animazione. Oltre allo stato nascosto h, una LSTM tiene una cella c, un nastro trasportatore di memoria. Tre gate, ognuno una sigmoide tra 0 e 1, decidono che cosa le succede:
- forget gate f: quanto tenere della vecchia cella;
- input gate i: quanta nuova informazione g scriverci dentro;
- output gate o: quanto della cella mostrare come h.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
La riga chiave è c = f * c + i * g. Tornando indietro di un passo, il gradiente sulla cella viene moltiplicato per f, e nient'altro: nessuna moltiplicazione ripetuta per una matrice di pesi. Si riduce comunque di f a ogni passo, quindi dopo k passi è f alla potenza k. Con f = 0.95 fa 0.08 dopo 50 passi; con f = 0.999 fa 0.95. Quindi una LSTM ricorda lontano quando i suoi forget gate restano molto vicini a 1, e la prossima lezione misura quanto vicino basta.
Parole e simboli di questa lezione
- rete ricorrente (RNN)
- una rete che legge un passo alla volta e porta avanti uno stato nascosto
- stato nascosto h
- il vettore corto di numeri che una RNN porta da un passo all'altro
- LSTM
- una RNN con una cella di memoria c e tre gate: forget, input, output
Scrivi lstm_step(x, h, c, W, b) che restituisce (h, c), con W di forma (input + nascosti, 4 * nascosti) e i quattro quarti nell'ordine i, f, g, o. Gli input sono a batch: x è (batch, input), h e c sono (batch, nascosti), quindi unisci x e h lungo l'asse 1.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.