Temario Lección 200 de 246 · Módulo 19: Más grande, y cuánto mejor (leyes de escalado)
Módulo 19: Más grande, y cuánto mejor (leyes de escalado)

Adivina un modelo más grande

Por qué importa Entrenar un modelo grande cuesta meses y millones. Antes de gastar eso, se predice lo bueno que será a partir de ejecuciones pequeñas. El hecho sorprendente detrás del auge de la IA es que la predicción suele funcionar. Primero, mira lo buena que es tu propia intuición.

Los modelos de este módulo son pequeños modelos de caracteres: leen 8 caracteres y predicen el siguiente. Un solo número fija su tamaño, la anchura de la capa oculta. El curso entrenó 150 (10 anchuras, 5 cantidades de datos, 3 semillas cada una) con 1.5 millones de caracteres de su propio texto de lecciones, y midió la pérdida de cada uno con 100,000 caracteres que nunca vio.

Un modelo de anchura 128 (24,401 pesos) entrenado con 1.5 millones de tokens llega a una pérdida en datos reservados de unos 1.86. Un token aquí es una predicción: un carácter.

Antes de mirar: un modelo de anchura 1024 tiene 7.7 veces los pesos. Entrenado con los mismos datos, ¿a qué pérdida llegará? Como escala: predecir que cada carácter es igual de probable da 4.42, y los mejores de estos modelos bajan de 2.

Palabras y símbolos de esta lección
token
aquí, una predicción: un carácter
Tu turno

Pon en my_guess la pérdida en datos reservados que predices para la anchura 1024 con 1.5 millones de tokens. Luego pon actual a partir de las ejecuciones grabadas (la media de las 3 semillas), y error a cuánto te desviaste (actual menos la suposición).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.