Programme Leçon 127 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

La rétropropagation dans le temps est une rétropropagation ordinaire

Pourquoi c'est important « Rétropropagation dans le temps » sonne comme un nouvel algorithme. Ça n'en est pas un : déroule la boucle et c'est la rétropropagation sur un réseau profond dont les couches partagent un seul jeu de poids.

Vois-le

Lance l'animation. Trois pas d'un RNN, dessinés côte à côte, sont trois couches. Le même poids w apparaît dans chacune. Vers l'arrière, le gradient de w rassemble une contribution de chaque copie, exactement comme un nœud utilisé plusieurs fois dans ton moteur du module 4.

De tout petits nombres

Un RNN linéaire à un nombre : h_t = w h_(t-1) + x_t, qui part de h_0 = 0, avec la perte = h_3. Entrées 1, 2, 3 et w = 0.5 : h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. En revenant, dL/dh2 = w = 0.5 et dL/dh1 = w au carré = 0.25. Chaque copie de w apporte (le gradient à sa sortie) fois (le h qu'elle a multiplié) : 1 fois h2 + 0.5 fois h1 + 0.25 fois h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT : la rétropropagation dans le temps ; déroule les pas et rétropropage, en additionnant le gradient de chaque pas qui partage un poids.

Mots et symboles de cette leçon
réseau récurrent (RNN)
un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
rétropropagation dans le temps (BPTT)
dérouler les pas et rétropropager, en ajoutant le gradient de chaque pas qui partage un poids
À ton tour

Pour le RNN à un nombre h_t = w * h_(t-1) + x_t avec h_0 = 0 et la perte h_T (le dernier état), écris bptt(xs, w) qui renvoie dL/dw en parcourant les pas à rebours.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.