Temario Lección 69 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

Un mando de volumen por peso (RMSProp)

Por qué importa El momentum suaviza la dirección. RMSProp arregla el otro problema: algunos pesos reciben gradientes enormes y otros diminutos, así que una sola tasa de aprendizaje no puede servir para todos.

RMSProp guarda, para cada peso, una media acumulada de su gradiente al cuadrado: lo fuerte que suele ser el gradiente de ese peso. Luego divide cada paso por la raíz cuadrada de eso, como bajar el volumen de los pesos fuertes y subirlo en los flojos.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

En el cuenco estirado, la dirección empinada tiene gradientes fuertes y se baja el volumen, la dirección suave se sube, y el cuenco se comporta casi como si fuera redondo. Eso funciona aquí porque las direcciones empinada y suave del cuenco coinciden con los dos pesos. Inclina el valle 45 grados, para que cada peso vea una mezcla de las dos direcciones, y un mando de volumen por peso no puede separarlas: entonces RMSProp y Adam ayudan mucho menos. Reescalan según lo fuerte que es el gradiente de cada peso, no según la forma real del valle.

eps: un número diminuto como 1e-8 que evita dividir por cero.

Palabras y símbolos de esta lección
momentum (beta)
conservar parte de la velocidad del último paso
RMSProp
dividir el paso de cada peso por lo fuerte que suele ser su gradiente
Adam (m, v, t)
momentum (m) más un mando de volumen por peso (v), corregido en los primeros pasos (t)
Tu turno

Escribe rmsprop(grad, start, lr, rho, steps, eps=1e-8) que devuelva la posición final. La prueba oculta compara tu posición con la de referencia tras unos pocos pasos.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.