Ajustar una ley de potencias con suelo
Por qué importa "Más grande es mejor" no sirve para planificar. "La pérdida baja como los pesos elevados a -0.5, hacia un suelo de 1.6" te deja poner un número a una ejecución que no has pagado. Conseguir ese número, y lo seguro que estás de él, es la habilidad.
La forma que encaja con la mayoría de los datos de escalado:
loss = E + A N^(-alpha)
N es el número de pesos, alpha el exponente (lo rápido que mejora) y E el suelo: la pérdida que ningún modelo de esta familia puede superar con estos datos. Parte de ella es que el texto es impredecible; parte es el límite propio de la familia (este modelo solo ve 8 caracteres hacia atrás). Una familia distinta, por ejemplo una que lee más hacia atrás, tiene un suelo más bajo. Sin el suelo, un ajuste con modelos pequeños sobrestima cuánto ganan los grandes.
Cómo ajustarla: para cada suelo candidato E entre 0 y justo por debajo de la pérdida más pequeña, toma logaritmos, log(loss - E) = log A - alpha log N, que es una recta, y ajústala por mínimos cuadrados. Quédate con la E cuya curva tiene el menor error cuadrático sobre las propias pérdidas.
Barras de error: hay 3 semillas por tamaño. Vuelve a ajustar muchas veces, eligiendo cada vez una semilla al azar para cada tamaño (un bootstrap), y mira la dispersión de alpha. Mira la escena: los mismos puntos, la curva ajustada con y sin suelo, y la banda de ajustes del bootstrap.
Palabras y símbolos de esta lección
- ley de potencias
- y = A x^-alpha: una recta en ejes log-log
- exponente (alpha, beta)
- lo rápido que baja la pérdida con más pesos (alpha) o más datos (beta)
- suelo (E)
- la pérdida que ningún modelo puede superar con estos datos
- token
- aquí, una predicción: un carácter
- bootstrap
- volver a ajustar con datos remuestreados para ver cuánto se movería un número ajustado
Escribe fit(N, loss) que devuelva (E, A, alpha) como se describe (400 suelos candidatos de 0 a 0.999 x la pérdida más pequeña). Ajusta las ejecuciones con 1.5 millones de tokens (una media por anchura) en main, luego haz 100 reajustes de bootstrap y pon en interval los percentiles 5 y 95 de alpha.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.