Un mando de volumen por peso (RMSProp)
Por qué importa El momentum suaviza la dirección. RMSProp arregla el otro problema: algunos pesos reciben gradientes enormes y otros diminutos, así que una sola tasa de aprendizaje no puede servir para todos.
RMSProp guarda, para cada peso, una media acumulada de su gradiente al cuadrado: lo fuerte que suele ser el gradiente de ese peso. Luego divide cada paso por la raíz cuadrada de eso, como bajar el volumen de los pesos fuertes y subirlo en los flojos.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
En el cuenco estirado, la dirección empinada tiene gradientes fuertes y se baja el volumen, la dirección suave se sube, y el cuenco se comporta casi como si fuera redondo. Eso funciona aquí porque las direcciones empinada y suave del cuenco coinciden con los dos pesos. Inclina el valle 45 grados, para que cada peso vea una mezcla de las dos direcciones, y un mando de volumen por peso no puede separarlas: entonces RMSProp y Adam ayudan mucho menos. Reescalan según lo fuerte que es el gradiente de cada peso, no según la forma real del valle.
eps: un número diminuto como 1e-8 que evita dividir por cero.
Palabras y símbolos de esta lección
- momentum (beta)
- conservar parte de la velocidad del último paso
- RMSProp
- dividir el paso de cada peso por lo fuerte que suele ser su gradiente
- Adam (m, v, t)
- momentum (m) más un mando de volumen por peso (v), corregido en los primeros pasos (t)
Escribe rmsprop(grad, start, lr, rho, steps, eps=1e-8) que devuelva la posición final. La prueba oculta compara tu posición con la de referencia tras unos pocos pasos.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.