Temario Lección 205 de 246 · Módulo 19: Más grande, y cuánto mejor (leyes de escalado)
Módulo 19: Más grande, y cuánto mejor (leyes de escalado)

Predice una ejecución más grande, y luego mírala

Por qué importa Un ajuste que solo describe las ejecuciones que tienes es un resumen. Un ajuste que predice una ejecución que no tenías es una ley, al menos por ahora. Aquí está la prueba.

El curso entrenó un tamaño más después de terminar la cuadrícula: la anchura 2048, unos 375,000 pesos, el doble del más grande de la cuadrícula, con los 1.5 millones de tokens completos, 3 semillas. No has visto su pérdida.

Usa la ley de potencias de la lección 3 (una anchura cada vez, 1.5 millones de tokens) para predecirla. Fija el número en el código, y luego abre el resultado grabado.

Palabras y símbolos de esta lección
ley de potencias
y = A x^-alpha: una recta en ejes log-log
token
aquí, una predicción: un carácter
Tu turno

Ajusta la cuadrícula de 1.5 millones de tokens con scaling.fit_power_law, pon prediction para la anchura 2048 (scaling.params_of(2048) pesos), y luego pon actual (la media de scaling.recorded_bigger()) y error. Compáralo con el error de tu intuición en la lección 1 poniendo better_than_my_gut.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.