Comment la dispersion s'additionne, et ce qu'une matrice étire
Pourquoi c'est important Deux faits décident si un réseau profond s'entraîne tout court : comment la dispersion d'une somme grandit avec le nombre de termes (le module 6 fixe les poids de départ avec ça), et à quel point une matrice étire un vecteur à chaque application (les RNN du module 11 en appliquent une encore et encore).
La dispersion d'une somme
Additionne n nombres indépendants, chacun de variance v. Les variances s'additionnent : la somme a une variance de n v, donc sa dispersion (écart type) vaut sqrt(n v). De tout petits nombres : 100 entrées de dispersion 1 chacune donnent une somme de dispersion 10, ni 100 ni 1. Un neurone additionne n entrées fois des poids, donc pour garder la dispersion de sa sortie près de 1, chaque poids a besoin d'une dispersion d'environ 1 / sqrt(n). C'est l'idée derrière les poids de départ du module 6.
Ce qu'une matrice étire
Certains vecteurs ne font que s'allonger ou raccourcir quand une matrice A les multiplie ; leur direction reste. Un tel vecteur est un vecteur propre et le facteur d'étirement est sa valeur propre. Multiplie un vecteur par A encore et encore et la direction de la plus grande valeur propre (en taille) gagne : après t étapes, la longueur grandit ou rétrécit comme cette valeur propre à la puissance t. Donc une plus grande taille au-dessus de 1 explose, et en dessous de 1 s'éteint.
De tout petits nombres : A = [[0.5, 0], [0, 1.2]]. Ses valeurs propres sont 0.5 et 1.2. Après 10 étapes, la première direction a rétréci à 0.510, environ 0.001, et la seconde a grandi à 1.210, environ 6.2.
Valeur propre : à quel point une matrice étire une direction particulière. Rayon spectral : la plus grande valeur propre en taille, qui décide si la multiplication répétée grandit ou s'éteint.
Récap Les variances s'additionnent, donc les dispersions grandissent comme sqrt(n). La multiplication répétée grandit comme la plus grande valeur propre à la puissance t.
Mots et symboles de cette leçon
- vecteur
- une liste de nombres, un par caractéristique
Trois étapes :
- Écris
sum_spread(n, sd, trials, seed): avecrng = np.random.default_rng(seed), tiretrialssommes de n nombres normaux de dispersion sd, et renvoie la dispersion (np.std) de ces sommes. - Affecte à
predictedla dispersion que donne la règle pour n = 100, sd = 0.5 (sqrt(n) × sd). - Écris
growth_rate(A, steps=200): pars d'un vecteur de uns ;stepsfois, multiplie par A et remets le résultat à une longueur de 1 ; renvoie la longueur qu'avait le vecteur juste avant la dernière remise à l'échelle. Exemple travaillé : pour A = [[0.5, 0], [0, 1.2]], la réponse est 1.2.
Pourquoi l'étape 3 marche : la multiplication répétée laisse gagner le plus grand étirement, donc la dernière longueur sur une étape est la plus grande valeur propre en taille, trouvée sans aucune fonction de valeurs propres. (La vérification utilise des matrices symétriques, pour lesquelles ça tient toujours. Pour certaines autres matrices, les deux plus grandes forment une paire complexe et la longueur oscille d'une étape à l'autre ; tu n'auras pas besoin de ce cas.)
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.