Programme Leçon 29 sur 246 · Module 2 : Maths et probabilités, juste ce qu'il faut
Module 2 : Maths et probabilités, juste ce qu'il faut

Gradients de matrices entières (la règle de forme)

Pourquoi c'est important Les couches travaillent sur des matrices entières, donc leurs gradients sont aussi des matrices. Une règle et une astuce dérivent la passe arrière de presque toutes les couches sans rien apprendre par cœur.

La règle de forme

La perte L est un seul nombre. Le gradient de L par rapport à n'importe quel tableau a exactement la forme de ce tableau : une pente par élément. Donc si W est (3, 4), dL/dW est (3, 4).

De tout petits nombres : Y = X @ W

Disons que X est (2, 3), W est (3, 4), Y = X @ W est (2, 4), et que des étapes suivantes transforment Y en L. La passe arrière te donne G = dL/dY, de forme (2, 4). Chaque élément Y[i, j] est une somme sur k de X[i, k] W[k, j]. Pousse W[k, j] : ça déplace chaque Y[i, j] de la colonne j de X[i, k] fois la poussée. Donc dL/dW[k, j] = somme sur i de X[i, k] G[i, j]. C'est un élément de X.T @ G, qui est (3, 4) : la forme de W, comme le dit la règle.

Le même raisonnement pour X donne dL/dX = G @ W.T, de forme (2, 3). Une façon rapide de retenir les deux : mets G avec l'autre matrice, transposée, dans le seul ordre dont les formes conviennent.

La jacobienne, et pourquoi personne ne la construit

La table complète de la façon dont chaque élément de sortie bouge avec chaque élément d'entrée, c'est la jacobienne. Pour Y = X @ W avec W de taille 1000 par 1000 et 64 lignes, cette table aurait 64 mille sorties fois un million de poids : 64 milliards d'éléments. La passe arrière ne la construit jamais : elle n'a jamais besoin que de G fois la jacobienne, qui est le petit produit X.T @ G. Ce produit, c'est le produit vecteur-jacobienne de la leçon précédente.

Jacobienne : la pente de chaque sortie par rapport à chaque entrée, sous forme d'une grande table. Produit vecteur-jacobienne : le gradient renvoyé à travers une étape, calculé directement sans la table.

Récap Même forme que la chose. Pour Y = X @ W : dW = X.T @ G et dX = G @ W.T.

Mots et symboles de cette leçon
vecteur
une liste de nombres, un par caractéristique
dérivée (df/dx)
à quelle vitesse la sortie change par unité de poussée de l'entrée
À ton tour

Écris matmul_grads(X, W, G) qui renvoie (dX, dW) pour Y = X @ W, et elementwise_grads(A, B, G) qui renvoie (dA, dB) pour Y = A * B (mêmes formes, élément par élément). Le test caché vérifie les deux par rapport aux poussées, sur des formes que tu n'as pas vues.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.