Programme Leçon 32 sur 246 · Module 2 : Maths et probabilités, juste ce qu'il faut
Module 2 : Maths et probabilités, juste ce qu'il faut

Comment la dispersion s'additionne, et ce qu'une matrice étire

Pourquoi c'est important Deux faits décident si un réseau profond s'entraîne tout court : comment la dispersion d'une somme grandit avec le nombre de termes (le module 6 fixe les poids de départ avec ça), et à quel point une matrice étire un vecteur à chaque application (les RNN du module 11 en appliquent une encore et encore).

La dispersion d'une somme

Additionne n nombres indépendants, chacun de variance v. Les variances s'additionnent : la somme a une variance de n v, donc sa dispersion (écart type) vaut sqrt(n v). De tout petits nombres : 100 entrées de dispersion 1 chacune donnent une somme de dispersion 10, ni 100 ni 1. Un neurone additionne n entrées fois des poids, donc pour garder la dispersion de sa sortie près de 1, chaque poids a besoin d'une dispersion d'environ 1 / sqrt(n). C'est l'idée derrière les poids de départ du module 6.

Ce qu'une matrice étire

Certains vecteurs ne font que s'allonger ou raccourcir quand une matrice A les multiplie ; leur direction reste. Un tel vecteur est un vecteur propre et le facteur d'étirement est sa valeur propre. Multiplie un vecteur par A encore et encore et la direction de la plus grande valeur propre (en taille) gagne : après t étapes, la longueur grandit ou rétrécit comme cette valeur propre à la puissance t. Donc une plus grande taille au-dessus de 1 explose, et en dessous de 1 s'éteint.

De tout petits nombres : A = [[0.5, 0], [0, 1.2]]. Ses valeurs propres sont 0.5 et 1.2. Après 10 étapes, la première direction a rétréci à 0.510, environ 0.001, et la seconde a grandi à 1.210, environ 6.2.

Valeur propre : à quel point une matrice étire une direction particulière. Rayon spectral : la plus grande valeur propre en taille, qui décide si la multiplication répétée grandit ou s'éteint.

Récap Les variances s'additionnent, donc les dispersions grandissent comme sqrt(n). La multiplication répétée grandit comme la plus grande valeur propre à la puissance t.

Mots et symboles de cette leçon
vecteur
une liste de nombres, un par caractéristique
À ton tour

Trois étapes :

  1. Écris sum_spread(n, sd, trials, seed) : avec rng = np.random.default_rng(seed), tire trials sommes de n nombres normaux de dispersion sd, et renvoie la dispersion (np.std) de ces sommes.
  2. Affecte à predicted la dispersion que donne la règle pour n = 100, sd = 0.5 (sqrt(n) × sd).
  3. Écris growth_rate(A, steps=200) : pars d'un vecteur de uns ; steps fois, multiplie par A et remets le résultat à une longueur de 1 ; renvoie la longueur qu'avait le vecteur juste avant la dernière remise à l'échelle. Exemple travaillé : pour A = [[0.5, 0], [0, 1.2]], la réponse est 1.2.

Pourquoi l'étape 3 marche : la multiplication répétée laisse gagner le plus grand étirement, donc la dernière longueur sur une étape est la plus grande valeur propre en taille, trouvée sans aucune fonction de valeurs propres. (La vérification utilise des matrices symétriques, pour lesquelles ça tient toujours. Pour certaines autres matrices, les deux plus grandes forment une paire complexe et la longueur oscille d'une étape à l'autre ; tu n'auras pas besoin de ce cas.)

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.