Predice una ejecución más grande, y luego mírala
Por qué importa Un ajuste que solo describe las ejecuciones que tienes es un resumen. Un ajuste que predice una ejecución que no tenías es una ley, al menos por ahora. Aquí está la prueba.
El curso entrenó un tamaño más después de terminar la cuadrícula: la anchura 2048, unos 375,000 pesos, el doble del más grande de la cuadrícula, con los 1.5 millones de tokens completos, 3 semillas. No has visto su pérdida.
Usa la ley de potencias de la lección 3 (una anchura cada vez, 1.5 millones de tokens) para predecirla. Fija el número en el código, y luego abre el resultado grabado.
Palabras y símbolos de esta lección
- ley de potencias
- y = A x^-alpha: una recta en ejes log-log
- token
- aquí, una predicción: un carácter
Ajusta la cuadrícula de 1.5 millones de tokens con scaling.fit_power_law, pon prediction para la anchura 2048 (scaling.params_of(2048) pesos), y luego pon actual (la media de scaling.recorded_bigger()) y error. Compáralo con el error de tu intuición en la lección 1 poniendo better_than_my_gut.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.