LSTM-hekke, gebou
Waarom dit saak maak Die LSTM (1997, met die forget gate wat hier in 2000 bygevoeg is) het die RNN se geheueprobleem opgelos en spraakherkenning en vertaling vir twintig jaar aangedryf. Sy truc is eenvoudig sodat jy dit sien.
Sien dit
Speel die animasi af. Behalwe vir die verstekte status h, hou 'n LSTM 'n cell c, 'n vervoerband van geheue. Drie gate, elk 'n sigmoid tussen 0 en 1, besluit wat daarmee gebeur:
- forget gate f: hoeveel van die ou sel om te hou;
- input gate i: hoeveel nuwe inligting g moet jy inskryf;
- output gate o: hoeveel van die sel moet as h vertoon word.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
Die sleutelreël is c = f * c + i * g. As jy een stap teruggaan, word die gradiënt op die sel met f vermenigvuldig, en niks anders nie: geen herhaalde vermenigvuldiging deur 'n gewigmatriks nie. Dit krimp steeds met f elke stap, so na k stappe is dit f tot die mag k. Met f = 0.95 is dit 0.08 na 50 stappe; met f = 0.999 is dit 0.95. So 'n LSTM onthou ver wanneer sy forget gates baie naby aan 1 bly, en die volgende les meet hoe naby naby genoeg is.
Woorde en simbole in hierdie les
- herhalende netwerk (RNN)
- a netwerk wat een stap teen 'n slag lees en 'n wegsteekte toestand vorentoe dra
- verberge status h
- die kort vektor van getalle wat 'n RNN van stap tot stap dra
- LSTM
- an RNN met 'n geheiselcel c en drie gate: forget, input, output
Skryf lstm_step(x, h, c, W, b) wat (h, c) teruggee, met W van vorm (inputs + hidden, 4 * hidden) en die vier kwartes in die volgorde i, f, g, o. Die inputs is gebatst: x is (batch, inputs), h en c is (batch, hidden), so voeg x en h saam langs as 1.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.