Cómo se suma la dispersión, y qué estira una matriz
Por qué importa Dos hechos deciden si una red profunda llega siquiera a entrenar: cómo crece la dispersión de una suma con el número de términos (el Módulo 6 fija con eso los pesos iniciales), y cuánto estira una matriz un vector cada vez que se aplica (las RNN del Módulo 11 aplican una una y otra vez).
La dispersión de una suma
Suma n números independientes, cada uno con varianza v. Las varianzas se suman: la suma tiene varianza n v, así que su dispersión (desviación típica) es sqrt(n v). Números diminutos: 100 entradas, cada una con dispersión 1, dan una suma con dispersión 10, ni 100 ni 1. Una neurona suma n entradas por pesos, así que para mantener la dispersión de su salida cerca de 1, cada peso necesita una dispersión de más o menos 1 / sqrt(n). Esa es la idea detrás de los pesos iniciales del Módulo 6.
Qué estira una matriz
Algunos vectores solo se alargan o se acortan cuando una matriz A los multiplica; su dirección se mantiene. Un vector así es un vector propio y el factor de estiramiento es su valor propio. Multiplica un vector por A una y otra vez y gana la dirección con el mayor valor propio (en tamaño): después de t pasos la longitud crece o encoge como ese valor propio elevado a t. Así que si el mayor tamaño pasa de 1 explota, y si queda por debajo de 1 se desvanece.
Números diminutos: A = [[0.5, 0], [0, 1.2]]. Sus valores propios son 0.5 y 1.2. Después de 10 pasos la primera dirección ha encogido a 0.510, unos 0.001, y la segunda ha crecido a 1.210, unos 6.2.
Valor propio: cuánto estira una matriz una dirección especial. Radio espectral: el mayor valor propio en tamaño, que decide si la multiplicación repetida crece o se desvanece.
Resumen Las varianzas se suman, así que las dispersiones crecen como sqrt(n). La multiplicación repetida crece como el mayor valor propio elevado a t.
Palabras y símbolos de esta lección
- vector
- una lista de números, uno por característica
Tres pasos:
- Escribe
sum_spread(n, sd, trials, seed): conrng = np.random.default_rng(seed), sacatrialssumas de n números normales con dispersión sd, y devuelve la dispersión (np.std) de esas sumas. - Pon en
predictedla dispersión que da la regla para n = 100, sd = 0.5 (sqrt(n) x sd). - Escribe
growth_rate(A, steps=200): empieza con un vector de unos;stepsveces, multiplica por A y reescala el resultado a longitud 1; devuelve la longitud que tenía el vector justo antes del último reescalado. Ejemplo resuelto: para A = [[0.5, 0], [0, 1.2]] la respuesta es 1.2.
Por qué funciona el paso 3: la multiplicación repetida deja ganar al mayor estiramiento, así que la última longitud de un paso es el mayor valor propio en tamaño, encontrado sin ninguna función de valores propios. (La comprobación usa matrices simétricas, donde esto siempre se cumple. En algunas otras matrices los dos mayores son una pareja compleja y la longitud se tambalea de un paso a otro; no vas a necesitar ese caso).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.