Superficies de pérdida por las que puedes caminar
Por qué importa Cada optimizador es una forma distinta de bajar caminando por un paisaje que no puedes ver. Recorre primero uno sencillo.
Imagina la pérdida como un paisaje: dos pesos son tu posición en un mapa, y la pérdida es la altura. Entrenar es bajar caminando. El gradiente apunta cuesta arriba, así que cada paso va al revés: position = position - lr * gradient.
Números diminutos
En el cuenco f(x, y) = x squared + y squared, el gradiente en (3, 4) es (6, 8). Con lr 0.1 el paso va a (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Cada paso conserva el 80% de la distancia al fondo, así que tras 20 pasos estás más o menos al 1% de donde empezaste.
Tasa de aprendizaje: lo lejos que das el paso respecto al gradiente. Demasiado pequeña se arrastra; demasiado grande se pasa.
Resumen Da el paso en contra del gradiente; la tasa de aprendizaje fija la zancada.
Escribe descend(grad, start, lr, steps) que devuelva la lista de posiciones visitadas (incluida la inicial) como arrays de NumPy. Luego elige my_lr para que, en el cuenco de la lección, empezando en (3, 4), quedes a 0.01 o menos del fondo en 15 pasos como mucho.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.