Programma Les 125 van 246 · Module 11: Netwerken met geheugen (RNNs)
Module 11: Netwerken met geheugen (RNNs)

Sequenties en status

Waarom dit ertoe doet Tekst, spraak, prijzen en sensorgegevens komen één stap tegelijk aan, en wat eerder kwam verandert wat er nu komt. Een recurrent netwerk draagt een lopende samenvatting mee.

A recurrent neural network (RNN) houdt een hidden state h, een korte vector, bij. Bij elke stap mengt het de nieuwe input met de oude status en drukt het resultaat samen:

h = tanh(x_t @ Wx + h @ Wh + b)

Dezelfde weights worden gebruikt bij elke stap, net zoals een CNN zijn filter hergebruikt op elke positie. De uiteindelijke h hangt af van alles wat het netwerk heeft gelezen, dus het is een (verlieslatend) geheugen van de hele sequentie.

Tintalletjes

Eén invoergetal, één verborgen getal, Wx = 1, Wh = 0.5, b = 0, h begint bij 0. Lezen van 1 dan 0: h = tanh(1) = 0.76, dan h = tanh(0 + 0.38) = 0.36. De eerste invoer is nog steeds zichtbaar in de staat na de tweede stap, vervagend.

Hidden state: de vector die een RNN van stap naar stap overdraagt. Recurrent: het eigen output terugvoeren als input.

Woorden en symbolen in deze les
recurrent network (RNN)
een netwerk dat één stap tegelijk leest en een verborgen status doorgeeft
Jij bent aan de beurt

Schrijf rnn_forward(xs, Wx, Wh, b): xs heeft de vorm (steps, input size); begin bij een nultoestand en geef de lijst van hidden states na elke stap terug.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.