Temario Lección 32 de 246 · Módulo 2: Matemáticas y probabilidad, solo lo necesario
Módulo 2: Matemáticas y probabilidad, solo lo necesario

Cómo se suma la dispersión, y qué estira una matriz

Por qué importa Dos hechos deciden si una red profunda llega siquiera a entrenar: cómo crece la dispersión de una suma con el número de términos (el Módulo 6 fija con eso los pesos iniciales), y cuánto estira una matriz un vector cada vez que se aplica (las RNN del Módulo 11 aplican una una y otra vez).

La dispersión de una suma

Suma n números independientes, cada uno con varianza v. Las varianzas se suman: la suma tiene varianza n v, así que su dispersión (desviación típica) es sqrt(n v). Números diminutos: 100 entradas, cada una con dispersión 1, dan una suma con dispersión 10, ni 100 ni 1. Una neurona suma n entradas por pesos, así que para mantener la dispersión de su salida cerca de 1, cada peso necesita una dispersión de más o menos 1 / sqrt(n). Esa es la idea detrás de los pesos iniciales del Módulo 6.

Qué estira una matriz

Algunos vectores solo se alargan o se acortan cuando una matriz A los multiplica; su dirección se mantiene. Un vector así es un vector propio y el factor de estiramiento es su valor propio. Multiplica un vector por A una y otra vez y gana la dirección con el mayor valor propio (en tamaño): después de t pasos la longitud crece o encoge como ese valor propio elevado a t. Así que si el mayor tamaño pasa de 1 explota, y si queda por debajo de 1 se desvanece.

Números diminutos: A = [[0.5, 0], [0, 1.2]]. Sus valores propios son 0.5 y 1.2. Después de 10 pasos la primera dirección ha encogido a 0.510, unos 0.001, y la segunda ha crecido a 1.210, unos 6.2.

Valor propio: cuánto estira una matriz una dirección especial. Radio espectral: el mayor valor propio en tamaño, que decide si la multiplicación repetida crece o se desvanece.

Resumen Las varianzas se suman, así que las dispersiones crecen como sqrt(n). La multiplicación repetida crece como el mayor valor propio elevado a t.

Palabras y símbolos de esta lección
vector
una lista de números, uno por característica
Tu turno

Tres pasos:

  1. Escribe sum_spread(n, sd, trials, seed): con rng = np.random.default_rng(seed), saca trials sumas de n números normales con dispersión sd, y devuelve la dispersión (np.std) de esas sumas.
  2. Pon en predicted la dispersión que da la regla para n = 100, sd = 0.5 (sqrt(n) x sd).
  3. Escribe growth_rate(A, steps=200): empieza con un vector de unos; steps veces, multiplica por A y reescala el resultado a longitud 1; devuelve la longitud que tenía el vector justo antes del último reescalado. Ejemplo resuelto: para A = [[0.5, 0], [0, 1.2]] la respuesta es 1.2.

Por qué funciona el paso 3: la multiplicación repetida deja ganar al mayor estiramiento, así que la última longitud de un paso es el mayor valor propio en tamaño, encontrado sin ninguna función de valores propios. (La comprobación usa matrices simétricas, donde esto siempre se cumple. En algunas otras matrices los dos mayores son una pareja compleja y la longitud se tambalea de un paso a otro; no vas a necesitar ese caso).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.