Temario Lección 207 de 246 · Módulo 19: Más grande, y cuánto mejor (leyes de escalado)
Módulo 19: Más grande, y cuánto mejor (leyes de escalado)

Prueba de paso: planifica una ejecución de entrenamiento (IA apagada)

Por qué importa Esta es la decisión para la que existen las leyes de escalado: tienes un presupuesto y un solo intento. Planifícalo a partir de la evidencia.

Reglas de la prueba de paso: tutor de IA apagado. Tienes 3 x 10^10 FLOPs para una ejecución del modelo de caracteres del curso, con el mismo texto que la cuadrícula. Elige una anchura (una potencia de 2) y el número de tokens que permite entonces el presupuesto. Usa la cuadrícula grabada como quieras: ajustes, tablas, las dos cosas.

La comprobación predice la pérdida de tu elección y de la mejor elección posible con el ajuste de dos variables del curso, y aprueba cuando la tuya está a 0.02 o menos de la mejor y gastaste el presupuesto (con un margen del 1%).

Palabras y símbolos de esta lección
ley de escalado
cómo baja la pérdida a medida que crecen los pesos, los datos o el cómputo, normalmente una ley de potencias hacia un suelo
token
aquí, una predicción: un carácter
FLOPs (6 N D)
coste de entrenamiento: unas 6 operaciones por peso por token
Tu turno

Pon width y tokens.

IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.