Sequenties en status
Waarom dit ertoe doet Tekst, spraak, prijzen en sensorgegevens komen één stap tegelijk aan, en wat eerder kwam verandert wat er nu komt. Een recurrent netwerk draagt een lopende samenvatting mee.
A recurrent neural network (RNN) houdt een hidden state h, een korte vector, bij. Bij elke stap mengt het de nieuwe input met de oude status en drukt het resultaat samen:
h = tanh(x_t @ Wx + h @ Wh + b)
Dezelfde weights worden gebruikt bij elke stap, net zoals een CNN zijn filter hergebruikt op elke positie. De uiteindelijke h hangt af van alles wat het netwerk heeft gelezen, dus het is een (verlieslatend) geheugen van de hele sequentie.
Tintalletjes
Eén invoergetal, één verborgen getal, Wx = 1, Wh = 0.5, b = 0, h begint bij 0. Lezen van 1 dan 0: h = tanh(1) = 0.76, dan h = tanh(0 + 0.38) = 0.36. De eerste invoer is nog steeds zichtbaar in de staat na de tweede stap, vervagend.
Hidden state: de vector die een RNN van stap naar stap overdraagt. Recurrent: het eigen output terugvoeren als input.
Woorden en symbolen in deze les
- recurrent network (RNN)
- een netwerk dat één stap tegelijk leest en een verborgen status doorgeeft
Schrijf rnn_forward(xs, Wx, Wh, b): xs heeft de vorm (steps, input size); begin bij een nultoestand en geef de lijst van hidden states na elke stap terug.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.