Séquences et état
Pourquoi c'est important Le texte, la parole, les prix et les mesures de capteurs arrivent un pas à la fois, et ce qui est venu avant change ce qui vient ensuite. Un réseau récurrent transporte un résumé courant vers l'avant.
Un réseau de neurones récurrent (RNN) garde un état caché h, un court vecteur. À chaque pas, il mélange la nouvelle entrée avec l'ancien état et écrase le résultat :
h = tanh(x_t @ Wx + h @ Wh + b)
Les mêmes poids sont utilisés à chaque pas, exactement comme un CNN réutilise son filtre à chaque position. Le h final dépend de tout ce que le réseau a lu, donc c'est une mémoire (avec pertes) de toute la séquence.
De tout petits nombres
Un nombre en entrée, un nombre caché, Wx = 1, Wh = 0.5, b = 0, h commence à 0. En lisant 1 puis 0 : h = tanh(1) = 0.76, puis h = tanh(0 + 0.38) = 0.36. La première entrée se voit encore dans l'état après le deuxième pas, en s'estompant.
État caché : le vecteur qu'un RNN transporte de pas en pas. Récurrent : qui réinjecte sa propre sortie comme entrée.
Mots et symboles de cette leçon
- réseau récurrent (RNN)
- un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
Écris rnn_forward(xs, Wx, Wh, b) : xs a la forme (pas, taille d'entrée) ; pars d'un état nul et renvoie la liste des états cachés après chaque pas.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.