Pasos con ruido (SGD y minilotes)
Por qué importa Los conjuntos de datos reales tienen millones de ejemplos. Calcular el gradiente exacto sobre todos ellos en cada paso es demasiado lento, así que lo estimamos con un lote pequeño.
Un gradiente de minilote usa, por ejemplo, 32 ejemplos aleatorios en vez de los 512. Apunta más o menos cuesta abajo, con algo de ruido. Obtienes 16 pasos baratos con ruido por el precio de un paso exacto, y en la práctica eso gana de sobra.
Lo que hace el ruido
La curva de pérdida se vuelve dentada en vez de suave, y cerca del fondo nunca se asienta del todo: tiembla alrededor del mínimo. Bajar la tasa de aprendizaje al final del entrenamiento calma el temblor. Algo de ruido incluso ayuda en las redes grandes, sacudiendo el camino para sacarlo de sitios malos.
SGD: descenso de gradiente estocástico, descenso de gradiente con estimaciones del gradiente por minilotes.
Resumen Muchos pasos baratos con ruido ganan a pocos pasos exactos.
Palabras y símbolos de esta lección
- SGD
- descenso de gradiente usando lotes pequeños aleatorios
- minilote
- un trozo pequeño y aleatorio de los datos usado para un paso
Escribe sgd(X, y, lr, batch, epochs, seed) para regresión lineal (pérdida: error cuadrático medio), barajando en cada época, que devuelva (w, losses) donde losses es la pérdida sobre todos los datos tras cada época. Con lote 32, lr 0.05 y 10 épocas debe acabar por debajo de 0.02.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.