La rétropropagation d'un réseau à deux couches, à la main
Pourquoi c'est important Cette leçon, c'est toute la rétropropagation pour un vrai réseau. Après elle, rien dans une bibliothèque d'apprentissage profond n'est magique.
Vois-le d'abord
Lance l'animation. L'erreur commence à la sortie sous forme de (softmax moins one-hot). Elle remonte à travers la deuxième couche, est bloquée partout où une ReLU était éteinte, traverse la première couche, et laisse un gradient sur chaque poids.
La passe avant
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
La passe arrière, en faisant correspondre les formes
L'astuce qui rend ça facile : chaque gradient a la même forme que la chose à laquelle il appartient. Si tu connais les formes, il n'y a en général qu'une seule façon de multiplier les morceaux qui convienne. Les deux premières étapes, détaillées :
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
Le reste est pour toi. Calcule chacun à partir des formes qu'il doit avoir :
db2: de forme (classes,). Chaque biais a été ajouté à chaque ligne.dH: de forme (n, hidden), la même que H. Il vient de dZ et de W2.dH_pre: de forme (n, hidden). ReLU a laissé passer son entrée là où elle était allumée et l'a bloquée ailleurs.dW1etdb1: les mêmes deux étapes que pour W2 et b2, une couche plus bas.
Récap La passe arrière, c'est la passe avant à l'envers, en multipliant par la pente locale de chaque étape, avec les formes comme guide.
Mots et symboles de cette leçon
- poids (w, W), biais (b)
- les nombres qu'un neurone apprend ; le biais décale sa sortie
- ReLU
- max(0, z) : garde les positifs, met à zéro les négatifs
- one-hot
- des zéros avec un seul 1 à la vraie classe
- rétropropagation
- la règle de dérivation en chaîne exécutée à rebours pour obtenir le gradient de chaque poids
Écris forward_backward(X, y, W1, b1, W2, b2) qui renvoie (loss, grads) où grads est un dictionnaire avec les clés W1, b1, W2, b2. Le test caché vérifie chaque gradient par rapport à une poussée.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.