Sekwense en toestande
Waarom dit saak maak Teks, spraak, pryse en sensorlesings kom een stap teen 'n slag aan, en wat voorheen gekom het, verander wat volgende kom. 'n Herhalende netwerk dra 'n lopende opsomming vorentoe.
A recurrent neural network (RNN) hou 'n hidden state h, 'n kort vektor. By elke stap meng dit die nuwe input met die ou staat en druk die resultaat plat:
h = tanh(x_t @ Wx + h @ Wh + b)
Dieselfde gewigte word by elke stap gebruik, net soos 'n CNN sy filter by elke posisie hergebruik. Die finale h hang af van alles wat die netwerk gelees het, so dit is 'n (verliesagtige) geheue van die hele reeks.
Klein getalle
Een invoense getal, een verborge getal, Wx = 1, Wh = 0.5, b = 0, h begin by 0. Lees 1 en dan 0: h = tanh(1) = 0.76, dan h = tanh(0 + 0.38) = 0.36. Die eerste invoer wys steeds in die staat na die tweede stap, dit vervaag.
Verstekte toestand: die vektor wat 'n RNN van stap tot stap dra. Rekurrente: voer sy eie uitset terug in as inset.
Woorde en simbole in hierdie les
- herhalende netwerk (RNN)
- a netwerk wat een stap teen 'n slag lees en 'n wegsteekte toestand vorentoe dra
Skryf rnn_forward(xs, Wx, Wh, b): xs het vorm (steps, input size); begin by 'n nultoestand en gee die lys van hidden states na elke stap terug.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.