Programme Leçon 48 sur 246 · Module 3 : Du neurone au MLP
Module 3 : Du neurone au MLP

La rétropropagation d'un réseau à deux couches, à la main

Pourquoi c'est important Cette leçon, c'est toute la rétropropagation pour un vrai réseau. Après elle, rien dans une bibliothèque d'apprentissage profond n'est magique.

Vois-le d'abord

Lance l'animation. L'erreur commence à la sortie sous forme de (softmax moins one-hot). Elle remonte à travers la deuxième couche, est bloquée partout où une ReLU était éteinte, traverse la première couche, et laisse un gradient sur chaque poids.

La passe avant

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

La passe arrière, en faisant correspondre les formes

L'astuce qui rend ça facile : chaque gradient a la même forme que la chose à laquelle il appartient. Si tu connais les formes, il n'y a en général qu'une seule façon de multiplier les morceaux qui convienne. Les deux premières étapes, détaillées :

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

Le reste est pour toi. Calcule chacun à partir des formes qu'il doit avoir :

  • db2 : de forme (classes,). Chaque biais a été ajouté à chaque ligne.
  • dH : de forme (n, hidden), la même que H. Il vient de dZ et de W2.
  • dH_pre : de forme (n, hidden). ReLU a laissé passer son entrée là où elle était allumée et l'a bloquée ailleurs.
  • dW1 et db1 : les mêmes deux étapes que pour W2 et b2, une couche plus bas.

Récap La passe arrière, c'est la passe avant à l'envers, en multipliant par la pente locale de chaque étape, avec les formes comme guide.

Mots et symboles de cette leçon
poids (w, W), biais (b)
les nombres qu'un neurone apprend ; le biais décale sa sortie
ReLU
max(0, z) : garde les positifs, met à zéro les négatifs
one-hot
des zéros avec un seul 1 à la vraie classe
rétropropagation
la règle de dérivation en chaîne exécutée à rebours pour obtenir le gradient de chaque poids
À ton tour

Écris forward_backward(X, y, W1, b1, W2, b2) qui renvoie (loss, grads) où grads est un dictionnaire avec les clés W1, b1, W2, b2. Le test caché vérifie chaque gradient par rapport à une poussée.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.