Los modelos más anchos quieren pasos más pequeños
Por qué importa La tasa de aprendizaje que funciona para un modelo pequeño puede destrozar uno más grande. Los equipos que entrenan modelos grandes gastan dinero de verdad en descubrirlo; tú puedes leerlo en ejecuciones grabadas.
El experimento grabado gpt-width-lr entrenó el GPT diminuto con anchuras 32, 64 y 128, cada una con tasas de aprendizaje 0.001, 0.003 y 0.01, durante 2,000 pasos, con tres semillas cada una, y midió al final la pérdida en texto reservado.
Predice antes de mirar: ¿qué tasa de aprendizaje es la mejor para el modelo más ancho, el de 128?
Palabras y símbolos de esta lección
- consulta, clave, valor
- lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
Pon en my_guess uno de 0.001, 0.003 o 0.01, y luego rellena mean_loss: (width, lr) a la media de la pérdida final en datos reservados sobre las tres semillas (exp.seeds(d=..., lr=...) da las tres ejecuciones; la pérdida final en datos reservados de cada ejecución es run.val_loss[-1][1]). Luego rellena best_lr: anchura a la tasa de aprendizaje con la media más baja.
Luego usa la regla del ruido del Módulo 9 para decir qué ajustes difieren de verdad. Con tres semillas cada uno, dos medias difieren de verdad solo si la distancia es mayor que unos 2 × s × sqrt(2/3), donde s es la mayor de las dispersiones de semilla de los dos ajustes (np.std de los tres valores). Cualquier cosa más cercana es un empate.
Pon en ties: anchura a la lista de tasas de aprendizaje que empatan con la mejor de esa anchura (incluida la mejor).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.