Temario Lección 202 de 246 · Módulo 19: Más grande, y cuánto mejor (leyes de escalado)
Módulo 19: Más grande, y cuánto mejor (leyes de escalado)

Ajustar una ley de potencias con suelo

Por qué importa "Más grande es mejor" no sirve para planificar. "La pérdida baja como los pesos elevados a -0.5, hacia un suelo de 1.6" te deja poner un número a una ejecución que no has pagado. Conseguir ese número, y lo seguro que estás de él, es la habilidad.

La forma que encaja con la mayoría de los datos de escalado:

loss = E + A N^(-alpha)

N es el número de pesos, alpha el exponente (lo rápido que mejora) y E el suelo: la pérdida que ningún modelo de esta familia puede superar con estos datos. Parte de ella es que el texto es impredecible; parte es el límite propio de la familia (este modelo solo ve 8 caracteres hacia atrás). Una familia distinta, por ejemplo una que lee más hacia atrás, tiene un suelo más bajo. Sin el suelo, un ajuste con modelos pequeños sobrestima cuánto ganan los grandes.

Cómo ajustarla: para cada suelo candidato E entre 0 y justo por debajo de la pérdida más pequeña, toma logaritmos, log(loss - E) = log A - alpha log N, que es una recta, y ajústala por mínimos cuadrados. Quédate con la E cuya curva tiene el menor error cuadrático sobre las propias pérdidas.

Barras de error: hay 3 semillas por tamaño. Vuelve a ajustar muchas veces, eligiendo cada vez una semilla al azar para cada tamaño (un bootstrap), y mira la dispersión de alpha. Mira la escena: los mismos puntos, la curva ajustada con y sin suelo, y la banda de ajustes del bootstrap.

Palabras y símbolos de esta lección
ley de potencias
y = A x^-alpha: una recta en ejes log-log
exponente (alpha, beta)
lo rápido que baja la pérdida con más pesos (alpha) o más datos (beta)
suelo (E)
la pérdida que ningún modelo puede superar con estos datos
token
aquí, una predicción: un carácter
bootstrap
volver a ajustar con datos remuestreados para ver cuánto se movería un número ajustado
Tu turno

Escribe fit(N, loss) que devuelva (E, A, alpha) como se describe (400 suelos candidatos de 0 a 0.999 x la pérdida más pequeña). Ajusta las ejecuciones con 1.5 millones de tokens (una media por anchura) en main, luego haz 100 reajustes de bootstrap y pon en interval los percentiles 5 y 95 de alpha.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.