Programme Leçon 125 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

Séquences et état

Pourquoi c'est important Le texte, la parole, les prix et les mesures de capteurs arrivent un pas à la fois, et ce qui est venu avant change ce qui vient ensuite. Un réseau récurrent transporte un résumé courant vers l'avant.

Un réseau de neurones récurrent (RNN) garde un état caché h, un court vecteur. À chaque pas, il mélange la nouvelle entrée avec l'ancien état et écrase le résultat :

h = tanh(x_t @ Wx + h @ Wh + b)

Les mêmes poids sont utilisés à chaque pas, exactement comme un CNN réutilise son filtre à chaque position. Le h final dépend de tout ce que le réseau a lu, donc c'est une mémoire (avec pertes) de toute la séquence.

De tout petits nombres

Un nombre en entrée, un nombre caché, Wx = 1, Wh = 0.5, b = 0, h commence à 0. En lisant 1 puis 0 : h = tanh(1) = 0.76, puis h = tanh(0 + 0.38) = 0.36. La première entrée se voit encore dans l'état après le deuxième pas, en s'estompant.

État caché : le vecteur qu'un RNN transporte de pas en pas. Récurrent : qui réinjecte sa propre sortie comme entrée.

Mots et symboles de cette leçon
réseau récurrent (RNN)
un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
À ton tour

Écris rnn_forward(xs, Wx, Wh, b) : xs a la forme (pas, taille d'entrée) ; pars d'un état nul et renvoie la liste des états cachés après chaque pas.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.