Temario Lección 67 de 246 · Módulo 5: Optimización
Módulo 5: Optimización

El tamaño del lote y la tasa de aprendizaje, juntos

Por qué importa El tamaño del lote y la tasa de aprendizaje no son mandos separados. Cambia uno y el mejor valor del otro se mueve.

Un lote más grande da un gradiente con menos ruido, así que puede dar un paso más grande sin peligro. Una regla aproximada de la que parte mucha gente: si duplicas el tamaño del lote, puedes más o menos duplicar la tasa de aprendizaje, hasta un punto en el que el paso se vuelve inestable.

Los resultados también oscilan de una semilla a otra, así que compara los ajustes sobre varias semillas, nunca con una sola ejecución.

Una trampa más: las etiquetas de aquí llevan ruido con dispersión 0.1, así que ningún ajuste puede bajar la pérdida de unos 0.1 al cuadrado = 0.01. Cerca de ese suelo varias parejas empatan (por ejemplo 0.0113 frente a 0.0114). Un "ganador" por menos de la oscilación entre semillas no es un ganador, así que la ejecución también enumera cada pareja a un 5% o menos de la mejor.

Resumen Ajústalos juntos, y haz la media sobre las semillas.

Palabras y símbolos de esta lección
SGD
descenso de gradiente usando lotes pequeños aleatorios
Tu turno

Predice primero: en my_pick, escribe la pareja (batch, lr) de la cuadrícula que crees que acaba con la pérdida más baja tras 2 épocas. Luego escribe sweep(X, y, batches, lrs, seeds) que devuelva un diccionario de (batch, lr) a la pérdida final media sobre las semillas (usa el sgd dado), y best(results) que devuelva la mejor pareja.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.