LSTM gates, gebouwd
Waarom dit ertoe doet De LSTM (1997, met de forget gate die hier in 2000 werd toegevoegd) loste het geheugenprobleem van de RNN op en maakte spraakherkenning en vertaling voor twintig jaar mogelijk. De truc is simpel zodra je het ziet.
Bekijk het
Speel de animatie af. Naast de verborgen status h, houdt een LSTM een cell c bij, een transportband van geheugen. Drie gates, elk een sigmoid tussen 0 en 1, beslissen wat ermee gebeurt:
- forget gate f: hoeveel van de oude cel moet je behouden;
- input gate i: hoeveel nieuwe informatie g moet worden geschreven;
- output gate o: hoeveel van de cel moet als h worden getoond.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
De belangrijkste regel is c = f * c + i * g. Als we één stap teruggaan, wordt de gradiënt op de cel vermenigvuldigd met f, en niets anders: geen herhaalde vermenigvuldiging door een gewichtsmatrix. Het krimpt nog steeds met f elke stap, dus na k stappen is het f tot de macht k. Met f = 0.95 is dat 0.08 na 50 stappen; met f = 0.999 is het 0.95. Dus een LSTM onthoudt veel wanneer zijn forget gates heel dicht bij 1 blijven, en de volgende les meet hoe dicht dicht genoeg is.
Woorden en symbolen in deze les
- recurrent network (RNN)
- een netwerk dat één stap tegelijk leest en een verborgen status vooruit draagt
- hidden state h
- de korte vector van getallen die een RNN van stap naar stap draagt
- LSTM
- an RNN met een memory cell c en drie gates: forget, input, output
Schrijf lstm_step(x, h, c, W, b) die (h, c) retourneert, met W van vorm (inputs + hidden, 4 * hidden) en de vier kwartieren in de volgorde i, f, g, o. De inputs zijn gebatcht: x is (batch, inputs), h en c zijn (batch, hidden), dus voeg x en h samen langs as 1.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.