Temario Lección 153 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Entrena un GPT diminuto, en directo

Por qué importa Todo se junta: embeddings, posiciones, atención multicabeza con máscara, residuales y normalizaciones de capa, entrenados con Adam para predecir el siguiente carácter. En tu propia CPU, en segundos.

Anchura 32, 2 bloques, 4 cabezas, 32 caracteres de contexto: unos 29,000 parámetros. 150 pasos de 16 fragmentos cada uno, unos segundos en un portátil. Predice la curva: la pérdida al empezar y tras 150 pasos. (Adivinar de forma uniforme entre 95 caracteres es ln 95 = 4.55.)

Luego muestrea de él. Tras 150 pasos hace una sopa de letras con los espacios más o menos en su sitio; el modelo grabado de anchura 64, entrenado 2,000 pasos, escribe texto con forma de palabras. El mismo código, más cómputo.

Palabras y símbolos de esta lección
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
cabeza
una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
normalización de capa
normaliza cada vector por separado: media 0, dispersión 1, y luego por g más b
Tu turno

Rellena my_guess, y luego entrena con model.train (150 pasos, tasa de aprendizaje 0.003, lote 16) sobre corpus.TEXT y guarda el historial en hist. La llamada es hist = model.train(text, steps=..., lr=..., batch=...); devuelve un diccionario cuyo hist['loss'] es la pérdida de entrenamiento registrada cada 20 pasos (y en el último paso), y model.generate(prompt, n, temperature) escribe texto después. (help(model.train) también lo imprime.) La media de las últimas 5 pérdidas registradas debe estar por debajo de 2.85.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.