Gradients de matrices entières (la règle de forme)
Pourquoi c'est important Les couches travaillent sur des matrices entières, donc leurs gradients sont aussi des matrices. Une règle et une astuce dérivent la passe arrière de presque toutes les couches sans rien apprendre par cœur.
La règle de forme
La perte L est un seul nombre. Le gradient de L par rapport à n'importe quel tableau a exactement la forme de ce tableau : une pente par élément. Donc si W est (3, 4), dL/dW est (3, 4).
De tout petits nombres : Y = X @ W
Disons que X est (2, 3), W est (3, 4), Y = X @ W est (2, 4), et que des étapes suivantes transforment Y en L. La passe arrière te donne G = dL/dY, de forme (2, 4). Chaque élément Y[i, j] est une somme sur k de X[i, k] W[k, j]. Pousse W[k, j] : ça déplace chaque Y[i, j] de la colonne j de X[i, k] fois la poussée. Donc dL/dW[k, j] = somme sur i de X[i, k] G[i, j]. C'est un élément de X.T @ G, qui est (3, 4) : la forme de W, comme le dit la règle.
Le même raisonnement pour X donne dL/dX = G @ W.T, de forme (2, 3). Une façon rapide de retenir les deux : mets G avec l'autre matrice, transposée, dans le seul ordre dont les formes conviennent.
La jacobienne, et pourquoi personne ne la construit
La table complète de la façon dont chaque élément de sortie bouge avec chaque élément d'entrée, c'est la jacobienne. Pour Y = X @ W avec W de taille 1000 par 1000 et 64 lignes, cette table aurait 64 mille sorties fois un million de poids : 64 milliards d'éléments. La passe arrière ne la construit jamais : elle n'a jamais besoin que de G fois la jacobienne, qui est le petit produit X.T @ G. Ce produit, c'est le produit vecteur-jacobienne de la leçon précédente.
Jacobienne : la pente de chaque sortie par rapport à chaque entrée, sous forme d'une grande table. Produit vecteur-jacobienne : le gradient renvoyé à travers une étape, calculé directement sans la table.
Récap Même forme que la chose. Pour Y = X @ W : dW = X.T @ G et dX = G @ W.T.
Mots et symboles de cette leçon
- vecteur
- une liste de nombres, un par caractéristique
- dérivée (df/dx)
- à quelle vitesse la sortie change par unité de poussée de l'entrée
Écris matmul_grads(X, W, G) qui renvoie (dX, dW) pour Y = X @ W, et elementwise_grads(A, B, G) qui renvoie (dA, dB) pour Y = A * B (mêmes formes, élément par élément). Le test caché vérifie les deux par rapport aux poussées, sur des formes que tu n'as pas vues.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.