El tamaño del lote y la tasa de aprendizaje, juntos
Por qué importa El tamaño del lote y la tasa de aprendizaje no son mandos separados. Cambia uno y el mejor valor del otro se mueve.
Un lote más grande da un gradiente con menos ruido, así que puede dar un paso más grande sin peligro. Una regla aproximada de la que parte mucha gente: si duplicas el tamaño del lote, puedes más o menos duplicar la tasa de aprendizaje, hasta un punto en el que el paso se vuelve inestable.
Los resultados también oscilan de una semilla a otra, así que compara los ajustes sobre varias semillas, nunca con una sola ejecución.
Una trampa más: las etiquetas de aquí llevan ruido con dispersión 0.1, así que ningún ajuste puede bajar la pérdida de unos 0.1 al cuadrado = 0.01. Cerca de ese suelo varias parejas empatan (por ejemplo 0.0113 frente a 0.0114). Un "ganador" por menos de la oscilación entre semillas no es un ganador, así que la ejecución también enumera cada pareja a un 5% o menos de la mejor.
Resumen Ajústalos juntos, y haz la media sobre las semillas.
Palabras y símbolos de esta lección
- SGD
- descenso de gradiente usando lotes pequeños aleatorios
Predice primero: en my_pick, escribe la pareja (batch, lr) de la cuadrícula que crees que acaba con la pérdida más baja tras 2 épocas. Luego escribe sweep(X, y, batches, lrs, seeds) que devuelva un diccionario de (batch, lr) a la pérdida final media sobre las semillas (usa el sgd dado), y best(results) que devuelva la mejor pareja.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.