Tus propias ejecuciones pequeñas, con su coste
Por qué importa El escalado es una afirmación sobre el coste: cuánto mejor por unidad de cómputo. Así que cada ejecución necesita una etiqueta de precio, y la del entrenamiento es sorprendentemente simple.
Entrenar cuesta unas 6 operaciones por peso por token: 2 para el paso hacia delante (una multiplicación y una suma por cada peso) y unas 4 para el paso hacia atrás (los gradientes de las entradas y de los pesos). Es la regla del libro de FLOPs que usas desde la línea de salida: scaling.flops(weights, tokens).
Aquí entrenas en directo tres modelos pequeños, cada uno con 32,000 tokens del texto del curso, con unas 7 veces de diferencia de coste entre uno y otro.
Palabras y símbolos de esta lección
- token
- aquí, una predicción: un carácter
- FLOPs (6 N D)
- coste de entrenamiento: unas 6 operaciones por peso por token
Entrena las anchuras 4, 16 y 64 durante 32,000 tokens cada una (scaling.train(model, 32_000) devuelve la pérdida en datos reservados). Rellena runs con, para cada anchura, los pesos, los FLOPs y la pérdida. Luego pon cost_ratio: cuántas veces más costó la ejecución de anchura 64 que la de anchura 4.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.