Prueba de paso: planifica una ejecución de entrenamiento (IA apagada)
Por qué importa Esta es la decisión para la que existen las leyes de escalado: tienes un presupuesto y un solo intento. Planifícalo a partir de la evidencia.
Reglas de la prueba de paso: tutor de IA apagado. Tienes 3 x 10^10 FLOPs para una ejecución del modelo de caracteres del curso, con el mismo texto que la cuadrícula. Elige una anchura (una potencia de 2) y el número de tokens que permite entonces el presupuesto. Usa la cuadrícula grabada como quieras: ajustes, tablas, las dos cosas.
La comprobación predice la pérdida de tu elección y de la mejor elección posible con el ajuste de dos variables del curso, y aprueba cuando la tuya está a 0.02 o menos de la mejor y gastaste el presupuesto (con un margen del 1%).
Palabras y símbolos de esta lección
- ley de escalado
- cómo baja la pérdida a medida que crecen los pesos, los datos o el cómputo, normalmente una ley de potencias hacia un suelo
- token
- aquí, una predicción: un carácter
- FLOPs (6 N D)
- coste de entrenamiento: unas 6 operaciones por peso por token
Pon width y tokens.
IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.