El mejor uso de un presupuesto fijo
Por qué importa Con un presupuesto de cómputo fijo C, un modelo más grande ve menos tokens (C = 6 N D). Demasiado grande y pasa hambre; demasiado pequeño y se llena antes de que se acabe el presupuesto. En 2022 este cálculo (el artículo "Chinchilla") mostró que la mayoría de los grandes modelos de la época eran demasiado grandes para los datos con los que se entrenaron.
Ajusta los dos efectos a la vez:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d lo ajusta a las 150 ejecuciones. Luego, para un presupuesto C, cada anchura N fija D = C / (6 N), y la fórmula predice la pérdida: elige la anchura con la predicción más baja. scaling.params_of(width) da los pesos de una anchura.
Dónde está hoy el campo Hoffmann et al. (2022, "Chinchilla") ajustaron esta misma forma de dos variables a grandes modelos de lenguaje y encontraron el reparto óptimo en cómputo en unos 20 tokens de entrenamiento por peso. Hoy los laboratorios suelen entrenar bastante más allá (muchos más tokens para un modelo más pequeño), porque un modelo más pequeño es más barato cada vez que responde: lo óptimo en cómputo para entrenar no es lo óptimo para usar. Y cuando hacen un modelo más ancho, reescalan sus pesos iniciales y sus tasas de aprendizaje por capa (muP, Yang et al. 2022) para que la mejor tasa de aprendizaje encontrada en un modelo pequeño siga funcionando en el grande: el problema que midió la lección "los modelos más anchos quieren pasos más pequeños" del Módulo 13.
Palabras y símbolos de esta lección
- exponente (alpha, beta)
- lo rápido que baja la pérdida con más pesos (alpha) o más datos (beta)
- token
- aquí, una predicción: un carácter
- FLOPs (6 N D)
- coste de entrenamiento: unas 6 operaciones por peso por token
- óptimo en cómputo
- el reparto de un presupuesto fijo entre tamaño del modelo y datos que da la pérdida más baja
Ajusta la cuadrícula en f. Escribe plan(f, budget) que devuelva la anchura (una potencia de 2 de 2 a 4096) con la pérdida predicha más baja. Rellena choice para presupuestos de 1e9, 1e10 y 1e11 FLOPs.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.