Temario Lección 201 de 246 · Módulo 19: Más grande, y cuánto mejor (leyes de escalado)
Módulo 19: Más grande, y cuánto mejor (leyes de escalado)

Tus propias ejecuciones pequeñas, con su coste

Por qué importa El escalado es una afirmación sobre el coste: cuánto mejor por unidad de cómputo. Así que cada ejecución necesita una etiqueta de precio, y la del entrenamiento es sorprendentemente simple.

Entrenar cuesta unas 6 operaciones por peso por token: 2 para el paso hacia delante (una multiplicación y una suma por cada peso) y unas 4 para el paso hacia atrás (los gradientes de las entradas y de los pesos). Es la regla del libro de FLOPs que usas desde la línea de salida: scaling.flops(weights, tokens).

Aquí entrenas en directo tres modelos pequeños, cada uno con 32,000 tokens del texto del curso, con unas 7 veces de diferencia de coste entre uno y otro.

Palabras y símbolos de esta lección
token
aquí, una predicción: un carácter
FLOPs (6 N D)
coste de entrenamiento: unas 6 operaciones por peso por token
Tu turno

Entrena las anchuras 4, 16 y 64 durante 32,000 tokens cada una (scaling.train(model, 32_000) devuelve la pérdida en datos reservados). Rellena runs con, para cada anchura, los pesos, los FLOPs y la pérdida. Luego pon cost_ratio: cuántas veces más costó la ejecución de anchura 64 que la de anchura 4.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.