Por qué un cuenco estirado es lento (condicionamiento)
Por qué importa Los paisajes de pérdida reales son empinados en algunas direcciones y casi planos en otras. Ese desajuste, no el número de pesos, es lo que hace lento el descenso de gradiente simple.
Míralo
Toma f = (k x squared + y squared) / 2. Con k = 1 es un cuenco redondo. Con k = 100 es un valle largo y estrecho: empinado de lado a lado, suave a lo largo. La tasa de aprendizaje tiene que servir para las dos direcciones a la vez. La mejor elección única, lr = 2 / (k + 1), hace que cada paso conserve (k - 1) / (k + 1) de la distancia en las dos direcciones: 0.98 de ella cuando k = 100. Cualquier valor mayor y la dirección empinada se pasa y se asienta más despacio (por encima de 2 / k crece sin límite); cualquier valor menor y la dirección suave se arrastra todavía más. Así que el camino hace zigzag de un lado a otro del valle mientras avanza muy despacio a lo largo de él.
Número de condición: la proporción entre la curvatura más empinada y la más suave, aquí k. El descenso de gradiente simple necesita más o menos k pasos para avanzar bien.
Predice la curva: antes de ejecutar, predice cuántos pasos hacen falta para quedar a 0.001 o menos del fondo con k = 1, 10 y 100, usando la mejor tasa de aprendizaje fija, 2 / (k + 1).
Resumen El estiramiento frena el descenso simple en proporción al estiramiento.
Palabras y símbolos de esta lección
- número de condición
- cuánto más empinada es la dirección más empinada que la más suave
Rellena my_guess (tres números de pasos), y luego escribe steps_to_converge(k): empieza en (1, 1), usa lr = 2 / (k + 1), y cuenta los pasos hasta que la distancia a (0, 0) esté por debajo de 0.001 (para en 100,000).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.