Temario Lección 65 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

Por qué un cuenco estirado es lento (condicionamiento)

Por qué importa Los paisajes de pérdida reales son empinados en algunas direcciones y casi planos en otras. Ese desajuste, no el número de pesos, es lo que hace lento el descenso de gradiente simple.

Míralo

Toma f = (k x squared + y squared) / 2. Con k = 1 es un cuenco redondo. Con k = 100 es un valle largo y estrecho: empinado de lado a lado, suave a lo largo. La tasa de aprendizaje tiene que servir para las dos direcciones a la vez. La mejor elección única, lr = 2 / (k + 1), hace que cada paso conserve (k - 1) / (k + 1) de la distancia en las dos direcciones: 0.98 de ella cuando k = 100. Cualquier valor mayor y la dirección empinada se pasa y se asienta más despacio (por encima de 2 / k crece sin límite); cualquier valor menor y la dirección suave se arrastra todavía más. Así que el camino hace zigzag de un lado a otro del valle mientras avanza muy despacio a lo largo de él.

Número de condición: la proporción entre la curvatura más empinada y la más suave, aquí k. El descenso de gradiente simple necesita más o menos k pasos para avanzar bien.

Predice la curva: antes de ejecutar, predice cuántos pasos hacen falta para quedar a 0.001 o menos del fondo con k = 1, 10 y 100, usando la mejor tasa de aprendizaje fija, 2 / (k + 1).

Resumen El estiramiento frena el descenso simple en proporción al estiramiento.

Palabras y símbolos de esta lección
número de condición
cuánto más empinada es la dirección más empinada que la más suave
Tu turno

Rellena my_guess (tres números de pasos), y luego escribe steps_to_converge(k): empieza en (1, 1), usa lr = 2 / (k + 1), y cuenta los pasos hasta que la distancia a (0, 0) esté por debajo de 0.001 (para en 100,000).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.