Adivina un modelo más grande
Por qué importa Entrenar un modelo grande cuesta meses y millones. Antes de gastar eso, se predice lo bueno que será a partir de ejecuciones pequeñas. El hecho sorprendente detrás del auge de la IA es que la predicción suele funcionar. Primero, mira lo buena que es tu propia intuición.
Los modelos de este módulo son pequeños modelos de caracteres: leen 8 caracteres y predicen el siguiente. Un solo número fija su tamaño, la anchura de la capa oculta. El curso entrenó 150 (10 anchuras, 5 cantidades de datos, 3 semillas cada una) con 1.5 millones de caracteres de su propio texto de lecciones, y midió la pérdida de cada uno con 100,000 caracteres que nunca vio.
Un modelo de anchura 128 (24,401 pesos) entrenado con 1.5 millones de tokens llega a una pérdida en datos reservados de unos 1.86. Un token aquí es una predicción: un carácter.
Antes de mirar: un modelo de anchura 1024 tiene 7.7 veces los pesos. Entrenado con los mismos datos, ¿a qué pérdida llegará? Como escala: predecir que cada carácter es igual de probable da 4.42, y los mejores de estos modelos bajan de 2.
Palabras y símbolos de esta lección
- token
- aquí, una predicción: un carácter
Pon en my_guess la pérdida en datos reservados que predices para la anchura 1024 con 1.5 millones de tokens. Luego pon actual a partir de las ejecuciones grabadas (la media de las 3 semillas), y error a cuánto te desviaste (actual menos la suposición).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.