Kurrikulum Leson 129 van 246 · Module 11: Netwerke met geheue (RNNs)
Module 11: Netwerke met geheue (RNNs)

LSTM-hekke, gebou

Waarom dit saak maak Die LSTM (1997, met die forget gate wat hier in 2000 bygevoeg is) het die RNN se geheueprobleem opgelos en spraakherkenning en vertaling vir twintig jaar aangedryf. Sy truc is eenvoudig sodat jy dit sien.

Sien dit

Speel die animasi af. Behalwe vir die verstekte status h, hou 'n LSTM 'n cell c, 'n vervoerband van geheue. Drie gate, elk 'n sigmoid tussen 0 en 1, besluit wat daarmee gebeur:

  • forget gate f: hoeveel van die ou sel om te hou;
  • input gate i: hoeveel nuwe inligting g moet jy inskryf;
  • output gate o: hoeveel van die sel moet as h vertoon word.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

Die sleutelreël is c = f * c + i * g. As jy een stap teruggaan, word die gradiënt op die sel met f vermenigvuldig, en niks anders nie: geen herhaalde vermenigvuldiging deur 'n gewigmatriks nie. Dit krimp steeds met f elke stap, so na k stappe is dit f tot die mag k. Met f = 0.95 is dit 0.08 na 50 stappe; met f = 0.999 is dit 0.95. So 'n LSTM onthou ver wanneer sy forget gates baie naby aan 1 bly, en die volgende les meet hoe naby naby genoeg is.

Woorde en simbole in hierdie les
herhalende netwerk (RNN)
a netwerk wat een stap teen 'n slag lees en 'n wegsteekte toestand vorentoe dra
verberge status h
die kort vektor van getalle wat 'n RNN van stap tot stap dra
LSTM
an RNN met 'n geheiselcel c en drie gate: forget, input, output
Jou beurt

Skryf lstm_step(x, h, c, W, b) wat (h, c) teruggee, met W van vorm (inputs + hidden, 4 * hidden) en die vier kwartes in die volgorde i, f, g, o. Die inputs is gebatst: x is (batch, inputs), h en c is (batch, hidden), so voeg x en h saam langs as 1.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.