Temario Lección 64 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

Superficies de pérdida por las que puedes caminar

Por qué importa Cada optimizador es una forma distinta de bajar caminando por un paisaje que no puedes ver. Recorre primero uno sencillo.

Imagina la pérdida como un paisaje: dos pesos son tu posición en un mapa, y la pérdida es la altura. Entrenar es bajar caminando. El gradiente apunta cuesta arriba, así que cada paso va al revés: position = position - lr * gradient.

Números diminutos

En el cuenco f(x, y) = x squared + y squared, el gradiente en (3, 4) es (6, 8). Con lr 0.1 el paso va a (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Cada paso conserva el 80% de la distancia al fondo, así que tras 20 pasos estás más o menos al 1% de donde empezaste.

Tasa de aprendizaje: lo lejos que das el paso respecto al gradiente. Demasiado pequeña se arrastra; demasiado grande se pasa.

Resumen Da el paso en contra del gradiente; la tasa de aprendizaje fija la zancada.

Tu turno

Escribe descend(grad, start, lr, steps) que devuelva la lista de posiciones visitadas (incluida la inicial) como arrays de NumPy. Luego elige my_lr para que, en el cuenco de la lección, empezando en (3, 4), quedes a 0.01 o menos del fondo en 15 pasos como mucho.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.