Kurrikulum Leson 125 van 246 · Module 11: Netwerke met geheue (RNNs)
Module 11: Netwerke met geheue (RNNs)

Sekwense en toestande

Waarom dit saak maak Teks, spraak, pryse en sensorlesings kom een stap teen 'n slag aan, en wat voorheen gekom het, verander wat volgende kom. 'n Herhalende netwerk dra 'n lopende opsomming vorentoe.

A recurrent neural network (RNN) hou 'n hidden state h, 'n kort vektor. By elke stap meng dit die nuwe input met die ou staat en druk die resultaat plat:

h = tanh(x_t @ Wx + h @ Wh + b)

Dieselfde gewigte word by elke stap gebruik, net soos 'n CNN sy filter by elke posisie hergebruik. Die finale h hang af van alles wat die netwerk gelees het, so dit is 'n (verliesagtige) geheue van die hele reeks.

Klein getalle

Een invoense getal, een verborge getal, Wx = 1, Wh = 0.5, b = 0, h begin by 0. Lees 1 en dan 0: h = tanh(1) = 0.76, dan h = tanh(0 + 0.38) = 0.36. Die eerste invoer wys steeds in die staat na die tweede stap, dit vervaag.

Verstekte toestand: die vektor wat 'n RNN van stap tot stap dra. Rekurrente: voer sy eie uitset terug in as inset.

Woorde en simbole in hierdie les
herhalende netwerk (RNN)
a netwerk wat een stap teen 'n slag lees en 'n wegsteekte toestand vorentoe dra
Jou beurt

Skryf rnn_forward(xs, Wx, Wh, b): xs het vorm (steps, input size); begin by 'n nultoestand en gee die lys van hidden states na elke stap terug.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.