Temario Lección 204 de 246 · Módulo 19: Más grande, y cuánto mejor (leyes de escalado)
Módulo 19: Más grande, y cuánto mejor (leyes de escalado)

El mejor uso de un presupuesto fijo

Por qué importa Con un presupuesto de cómputo fijo C, un modelo más grande ve menos tokens (C = 6 N D). Demasiado grande y pasa hambre; demasiado pequeño y se llena antes de que se acabe el presupuesto. En 2022 este cálculo (el artículo "Chinchilla") mostró que la mayoría de los grandes modelos de la época eran demasiado grandes para los datos con los que se entrenaron.

Ajusta los dos efectos a la vez:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d lo ajusta a las 150 ejecuciones. Luego, para un presupuesto C, cada anchura N fija D = C / (6 N), y la fórmula predice la pérdida: elige la anchura con la predicción más baja. scaling.params_of(width) da los pesos de una anchura.

Dónde está hoy el campo Hoffmann et al. (2022, "Chinchilla") ajustaron esta misma forma de dos variables a grandes modelos de lenguaje y encontraron el reparto óptimo en cómputo en unos 20 tokens de entrenamiento por peso. Hoy los laboratorios suelen entrenar bastante más allá (muchos más tokens para un modelo más pequeño), porque un modelo más pequeño es más barato cada vez que responde: lo óptimo en cómputo para entrenar no es lo óptimo para usar. Y cuando hacen un modelo más ancho, reescalan sus pesos iniciales y sus tasas de aprendizaje por capa (muP, Yang et al. 2022) para que la mejor tasa de aprendizaje encontrada en un modelo pequeño siga funcionando en el grande: el problema que midió la lección "los modelos más anchos quieren pasos más pequeños" del Módulo 13.

Palabras y símbolos de esta lección
exponente (alpha, beta)
lo rápido que baja la pérdida con más pesos (alpha) o más datos (beta)
token
aquí, una predicción: un carácter
FLOPs (6 N D)
coste de entrenamiento: unas 6 operaciones por peso por token
óptimo en cómputo
el reparto de un presupuesto fijo entre tamaño del modelo y datos que da la pérdida más baja
Tu turno

Ajusta la cuadrícula en f. Escribe plan(f, budget) que devuelva la anchura (una potencia de 2 de 2 a 4096) con la pérdida predicha más baja. Rellena choice para presupuestos de 1e9, 1e10 y 1e11 FLOPs.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.