Temario Lección 66 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

Pasos con ruido (SGD y minilotes)

Por qué importa Los conjuntos de datos reales tienen millones de ejemplos. Calcular el gradiente exacto sobre todos ellos en cada paso es demasiado lento, así que lo estimamos con un lote pequeño.

Un gradiente de minilote usa, por ejemplo, 32 ejemplos aleatorios en vez de los 512. Apunta más o menos cuesta abajo, con algo de ruido. Obtienes 16 pasos baratos con ruido por el precio de un paso exacto, y en la práctica eso gana de sobra.

Lo que hace el ruido

La curva de pérdida se vuelve dentada en vez de suave, y cerca del fondo nunca se asienta del todo: tiembla alrededor del mínimo. Bajar la tasa de aprendizaje al final del entrenamiento calma el temblor. Algo de ruido incluso ayuda en las redes grandes, sacudiendo el camino para sacarlo de sitios malos.

SGD: descenso de gradiente estocástico, descenso de gradiente con estimaciones del gradiente por minilotes.

Resumen Muchos pasos baratos con ruido ganan a pocos pasos exactos.

Palabras y símbolos de esta lección
SGD
descenso de gradiente usando lotes pequeños aleatorios
minilote
un trozo pequeño y aleatorio de los datos usado para un paso
Tu turno

Escribe sgd(X, y, lr, batch, epochs, seed) para regresión lineal (pérdida: error cuadrático medio), barajando en cada época, que devuelva (w, losses) donde losses es la pérdida sobre todos los datos tras cada época. Con lote 32, lr 0.05 y 10 épocas debe acabar por debajo de 0.02.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.