La rétropropagation dans le temps est une rétropropagation ordinaire
Pourquoi c'est important « Rétropropagation dans le temps » sonne comme un nouvel algorithme. Ça n'en est pas un : déroule la boucle et c'est la rétropropagation sur un réseau profond dont les couches partagent un seul jeu de poids.
Vois-le
Lance l'animation. Trois pas d'un RNN, dessinés côte à côte, sont trois couches. Le même poids w apparaît dans chacune. Vers l'arrière, le gradient de w rassemble une contribution de chaque copie, exactement comme un nœud utilisé plusieurs fois dans ton moteur du module 4.
De tout petits nombres
Un RNN linéaire à un nombre : h_t = w h_(t-1) + x_t, qui part de h_0 = 0, avec la perte = h_3. Entrées 1, 2, 3 et w = 0.5 : h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. En revenant, dL/dh2 = w = 0.5 et dL/dh1 = w au carré = 0.25. Chaque copie de w apporte (le gradient à sa sortie) fois (le h qu'elle a multiplié) : 1 fois h2 + 0.5 fois h1 + 0.25 fois h0 = 2.5 + 0.5 + 0 = 3.0.
BPTT : la rétropropagation dans le temps ; déroule les pas et rétropropage, en additionnant le gradient de chaque pas qui partage un poids.
Mots et symboles de cette leçon
- réseau récurrent (RNN)
- un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
- rétropropagation dans le temps (BPTT)
- dérouler les pas et rétropropager, en ajoutant le gradient de chaque pas qui partage un poids
Pour le RNN à un nombre h_t = w * h_(t-1) + x_t avec h_0 = 0 et la perte h_T (le dernier état), écris bptt(xs, w) qui renvoie dL/dw en parcourant les pas à rebours.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.