Temario Lección 154 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Los modelos más anchos quieren pasos más pequeños

Por qué importa La tasa de aprendizaje que funciona para un modelo pequeño puede destrozar uno más grande. Los equipos que entrenan modelos grandes gastan dinero de verdad en descubrirlo; tú puedes leerlo en ejecuciones grabadas.

El experimento grabado gpt-width-lr entrenó el GPT diminuto con anchuras 32, 64 y 128, cada una con tasas de aprendizaje 0.001, 0.003 y 0.01, durante 2,000 pasos, con tres semillas cada una, y midió al final la pérdida en texto reservado.

Predice antes de mirar: ¿qué tasa de aprendizaje es la mejor para el modelo más ancho, el de 128?

Palabras y símbolos de esta lección
consulta, clave, valor
lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
Tu turno

Pon en my_guess uno de 0.001, 0.003 o 0.01, y luego rellena mean_loss: (width, lr) a la media de la pérdida final en datos reservados sobre las tres semillas (exp.seeds(d=..., lr=...) da las tres ejecuciones; la pérdida final en datos reservados de cada ejecución es run.val_loss[-1][1]). Luego rellena best_lr: anchura a la tasa de aprendizaje con la media más baja.

Luego usa la regla del ruido del Módulo 9 para decir qué ajustes difieren de verdad. Con tres semillas cada uno, dos medias difieren de verdad solo si la distancia es mayor que unos 2 × s × sqrt(2/3), donde s es la mayor de las dispersiones de semilla de los dos ajustes (np.std de los tres valores). Cualquier cosa más cercana es un empate.

Pon en ties: anchura a la lista de tasas de aprendizaje que empatan con la mejor de esa anchura (incluida la mejor).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.