Adam: la bola más los mandos
Por qué importa Adam es el optimizador por defecto de la mayor parte del aprendizaje profundo. Es momentum y RMSProp juntos, más una pequeña corrección que importa mucho al principio.
Primero, números diminutos
Un peso, beta1 = 0.9, beta2 = 0.999, lr = 0.1. El gradiente en el paso 1 es 2.0. La media acumulada de los gradientes, m, empieza en 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Pero el gradiente reciente real es 2, no 0.2: m está sesgada hacia su cero inicial. Divide por (1 - 0.9 elevado a t) para arreglarlo: 0.2 / 0.1 = 2.0. La misma corrección para la media de los cuadrados v: 0.004 / 0.001 = 4.0. Paso = 0.1 * 2 / sqrt(4) = 0.1.
Sin la corrección el primer paso sería 0.1 * 0.2 / sqrt(0.004) = 0.32, más de tres veces demasiado grande, y en una red real esos primeros pasos descontrolados pueden destrozar el comienzo del entrenamiento.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Corrección del sesgo: dividir por (1 - beta elevado a t) para que las medias que empezaron en cero no se subestimen en los primeros pasos. t cuenta los pasos desde 1.
Palabras y símbolos de esta lección
- momentum (beta)
- conservar parte de la velocidad del último paso
- RMSProp
- dividir el paso de cada peso por lo fuerte que suele ser su gradiente
- Adam (m, v, t)
- momentum (m) más un mando de volumen por peso (v), corregido en los primeros pasos (t)
Primero rellena first_step_with y first_step_without: el tamaño del paso 1 del ejemplo de arriba, con y sin corrección del sesgo. Luego escribe la clase Adam(lr, b1=0.9, b2=0.999, eps=1e-8) con un método step(p, g) que devuelva el array de parámetros actualizado.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.