Temario Lección 70 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

Adam: la bola más los mandos

Por qué importa Adam es el optimizador por defecto de la mayor parte del aprendizaje profundo. Es momentum y RMSProp juntos, más una pequeña corrección que importa mucho al principio.

Primero, números diminutos

Un peso, beta1 = 0.9, beta2 = 0.999, lr = 0.1. El gradiente en el paso 1 es 2.0. La media acumulada de los gradientes, m, empieza en 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Pero el gradiente reciente real es 2, no 0.2: m está sesgada hacia su cero inicial. Divide por (1 - 0.9 elevado a t) para arreglarlo: 0.2 / 0.1 = 2.0. La misma corrección para la media de los cuadrados v: 0.004 / 0.001 = 4.0. Paso = 0.1 * 2 / sqrt(4) = 0.1.

Sin la corrección el primer paso sería 0.1 * 0.2 / sqrt(0.004) = 0.32, más de tres veces demasiado grande, y en una red real esos primeros pasos descontrolados pueden destrozar el comienzo del entrenamiento.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Corrección del sesgo: dividir por (1 - beta elevado a t) para que las medias que empezaron en cero no se subestimen en los primeros pasos. t cuenta los pasos desde 1.

Palabras y símbolos de esta lección
momentum (beta)
conservar parte de la velocidad del último paso
RMSProp
dividir el paso de cada peso por lo fuerte que suele ser su gradiente
Adam (m, v, t)
momentum (m) más un mando de volumen por peso (v), corregido en los primeros pasos (t)
Tu turno

Primero rellena first_step_with y first_step_without: el tamaño del paso 1 del ejemplo de arriba, con y sin corrección del sesgo. Luego escribe la clase Adam(lr, b1=0.9, b2=0.999, eps=1e-8) con un método step(p, g) que devuelva el array de parámetros actualizado.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.