Entrena un GPT diminuto, en directo
Por qué importa Todo se junta: embeddings, posiciones, atención multicabeza con máscara, residuales y normalizaciones de capa, entrenados con Adam para predecir el siguiente carácter. En tu propia CPU, en segundos.
Anchura 32, 2 bloques, 4 cabezas, 32 caracteres de contexto: unos 29,000 parámetros. 150 pasos de 16 fragmentos cada uno, unos segundos en un portátil. Predice la curva: la pérdida al empezar y tras 150 pasos. (Adivinar de forma uniforme entre 95 caracteres es ln 95 = 4.55.)
Luego muestrea de él. Tras 150 pasos hace una sopa de letras con los espacios más o menos en su sitio; el modelo grabado de anchura 64, entrenado 2,000 pasos, escribe texto con forma de palabras. El mismo código, más cómputo.
Palabras y símbolos de esta lección
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
- cabeza
- una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
- normalización de capa
- normaliza cada vector por separado: media 0, dispersión 1, y luego por g más b
Rellena my_guess, y luego entrena con model.train (150 pasos, tasa de aprendizaje 0.003, lote 16) sobre corpus.TEXT y guarda el historial en hist. La llamada es hist = model.train(text, steps=..., lr=..., batch=...); devuelve un diccionario cuyo hist['loss'] es la pérdida de entrenamiento registrada cada 20 pasos (y en el último paso), y model.generate(prompt, n, temperature) escribe texto después. (help(model.train) también lo imprime.) La media de las últimas 5 pérdidas registradas debe estar por debajo de 2.85.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.